1）携程酒店每天有上千表，累计十多亿数据更新，如何保证数据更新过程中生产应用高可用；

2）每天有将近百万次数据查询请求，用户可以从粗粒度国家省份城市汇总不断下钻到酒店，房型粒度的数据，我们往往无法对海量的明细数据做进一步层次的预聚合，大量的关键业务数据都是好几亿数据关联权限，关联基础信息，根据用户场景获取不同维度的汇总数据；

3）为了让用户无论在app端还是pc端查询数据提供秒出的效果，我们需要不断的探索，研究找到最合适的技术框架。

对此，我们尝试过关系型数据库，但千万级表关联数据库基本上不太可能做到秒出，考虑过Sharding，但数据量大，各种成本都很高。热数据存储到ElasticSearch，但无法跨索引关联，导致不得不做宽表，因为权限，酒店信息会变，所以每次要刷全量数据，不适用于大表更新，维护成本也很高。Redis键值对存储无法做到实时汇总，也测试过Presto，GreenPlum，kylin，真正让我们停下来深入研究，不断的扩展使用场景的是ClickHouse。

数据驱动理念已被各行各业所熟知，核心环节包括数据采集、埋点规划、数据建模、数据分析和指标体系构建。

ClickHouse 是 OLAP（Online analytical processing）数据库，以速度见长。

为了支撑业务精细化运营场景下实时多维分析能力，本文将为大家带来主流MPP架构数据库ClickHouse在自助分析场景中的探索及实践。

以Clickhouse+Flink实时计算+智能算法为核心架构搭建的风险洞察平台，建立了全面的、多层次的、立体的风险业务监控体系，已支撑欺诈风险、信用风险、企业风险、小微风险、洗钱风险、贷后催收等十余个风控核心场景的实时风险监测与风险预警，异常检测算法及时发现指标异常波动，基于根因策略快速做到风险归因分析并生成风险报告，接入MQ主题500+、数据模型6000+、实时预警4000+、 风险监控看板1000+、 异常检测模型10000+, 大促时期分钟级消息处理量达3400w/min，日均消息处理量达百亿。

文章主要讲解了前一段时间 DBA 团队在日志平台的业务改造中参与的一部分事项，如表字段索引设计建议，过期策略的方案制定，SQL 编写和优化建议，提供成本降低方案等输出。

日志作为线上定位问题排障的重要手段，在可观测领域有着不可替代的作用。​稳定性、成本、易用性、可扩展性都是日志系统需要追求的关键点。

随着接入应用以及应用的 DAU 日益增加，ClickHouse 表的事件量增长迅速；并且基于行为数据需要分析的业务指标越来越复杂，需要 JOIN 的表增多；我们遇到有一些涉及到 JOIN 的复杂 SQL 执行效率低，内存和 CPU 资源占用高，导致分析接口响应时延和错误率增加。

随着公司业务的不断发展，不同业务线数据都有了大规模积累。在此基础上为了精细化运营，更好地服务客户，就需要通过积累的数据沉淀出各类实体标签，比如用户标签、帖子标签、基金标签。

如何加强ClickHouse多表关联查询能力？

唯品会日志系统dragonfly 1.0基于EFK构建，随着公司的业务发展，日志应用场景逐渐遇到了一些瓶颈，ELK的架构的缺点显现，鉴于出现的问题，我们开始探索新的日志系统架构，该文章揭秘唯品会现用的基于clickhouse的日志系统技术。

我们今天要介绍的是另一匹黑马-ClickHouse-号称比Hive快126倍的OLAP利器。

随着SRE的概念逐步推广，越来越多的业务接入微服务治理平台，大量数据也随之而来，ElasticSearch对海量日志的实时分析逐渐出现了性能问题。另外，随着治理平台自身的发展以及各种监控大盘的陆续上马，业务研发对日志可视化的实时性要求也越来越高，查询的数据规模和范围也越来越大。

为了不让平台建设拖SRE落地的后腿，经过调研，我们最终选择了Clickhouse这一新生利器。接下来我来汇报一下，Clickhouse在好大夫微服务治理中是如何落地实战的。

京东工业是2021独立出来成立的新事业群-京东工业事业群，包括工业品、工业服务、工业互联等四大板块业务。工业互联业务主要是搭建工业互联网平台，用于将实时现场工业数据汇入平台进行分析，做数据智能工作。目前支持业务有国家电网管理平台、综合能源、碳中和交易、电力交易等业务。

涅槃选品是京东零售内的战略级bigboss项目，项目主要致力于构建商品底层能力，打通提报、投放流程，实现选品的线上化、规则化与智能化；通过多方协作盘货，充分表达营销、品类、运营/采销等多方意志。

业务上的多样化需求，导致在项目初期面临以下众多技术难点与挑战。

微信作为一款国民级应用，已经覆盖了社交、支付、出行等人们生活的方方面面。海量多样化的业务形态，对数据分析提出了新的挑战。为了满足业务数据分析的需求，微信 WeOLAP 团队联手腾讯云，共建千台规模、数据 PB 级、批流一体的 ClickHouse 数据仓库，实现了 10 倍以上的性能提升。下文将由浅入深，为大家揭晓微信在 ClickHouse 实时数仓实践中积累的经验及方法。