数据驱动理念已被各行各业所熟知，核心环节包括数据采集、埋点规划、数据建模、数据分析和指标体系构建。

ClickHouse 是 OLAP（Online analytical processing）数据库，以速度见长。

为了支撑业务精细化运营场景下实时多维分析能力，本文将为大家带来主流MPP架构数据库ClickHouse在自助分析场景中的探索及实践。

以Clickhouse+Flink实时计算+智能算法为核心架构搭建的风险洞察平台，建立了全面的、多层次的、立体的风险业务监控体系，已支撑欺诈风险、信用风险、企业风险、小微风险、洗钱风险、贷后催收等十余个风控核心场景的实时风险监测与风险预警，异常检测算法及时发现指标异常波动，基于根因策略快速做到风险归因分析并生成风险报告，接入MQ主题500+、数据模型6000+、实时预警4000+、 风险监控看板1000+、 异常检测模型10000+, 大促时期分钟级消息处理量达3400w/min，日均消息处理量达百亿。

文章主要讲解了前一段时间 DBA 团队在日志平台的业务改造中参与的一部分事项，如表字段索引设计建议，过期策略的方案制定，SQL 编写和优化建议，提供成本降低方案等输出。

日志作为线上定位问题排障的重要手段，在可观测领域有着不可替代的作用。​稳定性、成本、易用性、可扩展性都是日志系统需要追求的关键点。

随着接入应用以及应用的 DAU 日益增加，ClickHouse 表的事件量增长迅速；并且基于行为数据需要分析的业务指标越来越复杂，需要 JOIN 的表增多；我们遇到有一些涉及到 JOIN 的复杂 SQL 执行效率低，内存和 CPU 资源占用高，导致分析接口响应时延和错误率增加。

随着公司业务的不断发展，不同业务线数据都有了大规模积累。在此基础上为了精细化运营，更好地服务客户，就需要通过积累的数据沉淀出各类实体标签，比如用户标签、帖子标签、基金标签。

如何加强ClickHouse多表关联查询能力？

唯品会日志系统dragonfly 1.0基于EFK构建，随着公司的业务发展，日志应用场景逐渐遇到了一些瓶颈，ELK的架构的缺点显现，鉴于出现的问题，我们开始探索新的日志系统架构，该文章揭秘唯品会现用的基于clickhouse的日志系统技术。

我们今天要介绍的是另一匹黑马-ClickHouse-号称比Hive快126倍的OLAP利器。

随着SRE的概念逐步推广，越来越多的业务接入微服务治理平台，大量数据也随之而来，ElasticSearch对海量日志的实时分析逐渐出现了性能问题。另外，随着治理平台自身的发展以及各种监控大盘的陆续上马，业务研发对日志可视化的实时性要求也越来越高，查询的数据规模和范围也越来越大。

为了不让平台建设拖SRE落地的后腿，经过调研，我们最终选择了Clickhouse这一新生利器。接下来我来汇报一下，Clickhouse在好大夫微服务治理中是如何落地实战的。

京东工业是2021独立出来成立的新事业群-京东工业事业群，包括工业品、工业服务、工业互联等四大板块业务。工业互联业务主要是搭建工业互联网平台，用于将实时现场工业数据汇入平台进行分析，做数据智能工作。目前支持业务有国家电网管理平台、综合能源、碳中和交易、电力交易等业务。

涅槃选品是京东零售内的战略级bigboss项目，项目主要致力于构建商品底层能力，打通提报、投放流程，实现选品的线上化、规则化与智能化；通过多方协作盘货，充分表达营销、品类、运营/采销等多方意志。

业务上的多样化需求，导致在项目初期面临以下众多技术难点与挑战。

微信作为一款国民级应用，已经覆盖了社交、支付、出行等人们生活的方方面面。海量多样化的业务形态，对数据分析提出了新的挑战。为了满足业务数据分析的需求，微信 WeOLAP 团队联手腾讯云，共建千台规模、数据 PB 级、批流一体的 ClickHouse 数据仓库，实现了 10 倍以上的性能提升。下文将由浅入深，为大家揭晓微信在 ClickHouse 实时数仓实践中积累的经验及方法。

Flink 和 ClickHouse 分别是实时流式计算和 OLAP 领域的翘楚，很多互联网、广告、游戏等客户都将两者联合使用于构建用户画像、实时 BI 报表、应用监控指标查询、监控等业务，形成了实时数仓解决方案（如图-1）。这些业务对数据的准确性要求都十分严格，所以实时数仓整个链路需要保证端到端的 Exactly-Once。通常来说 Flink 的上游是可以重复读取或者消费的 pull-based 持久化存储（例如Kafka），要实现 Source 端的 Exactly-Once 只需要回溯 Source 端的读取进度即可。Sink 端的 Exactly-Once 则比较复杂，因为 Sink 是 push-based 的，需要依赖目标输出系统的事务保证，但社区 ClickHouse 对事务并不支持，所以针对此情况阿里云 EMR ClickHouse 与 Flink 团队一起深度研发，支持了 Flink 到 ClickHouse 的 Exactly-Once写入来保证整个实时数仓数据的准确性。本文将分别介绍下现有机制以及实现方案。