ClickHouse凭借其独特架构和技术创新，在大数据分析领域脱颖而出。其列式存储、向量化执行引擎和数据压缩技术显著提升了查询效率。分布式架构和分片副本策略进一步增强了处理能力和容错性。这些特性共同造就了ClickHouse在海量数据处理中的卓越表现，成为OLAP领域的佼佼者。

DMP（数据管理平台）为广告部门提供B站用户数据的管理。主要功能包括用户标签收集存储，标签市场建设，人群包圈选，人群画像分析，人群/特征定向几大功能模块。

其中人群包圈选和人群画像分析是两大核心功能。对设计，性能，扩展性，可维护性都有比较高的要求。也是本文中要讨论的ClickHouse技术的应用场景。在实践中，我们利用ClickHouse的bitmap相关功能，实现了人群包的实时预估和计算，也实现了人群包画像的分钟级计算。

上一篇文章介绍了CDP中，面对单个标签或群体数十亿的数据如何存储CDP技术系列（一）：使用bitmap存储数十亿用户的标签或群体

最近的工作中接触到CK，一开始还不知道CK是什么,通过查询才知道CK是ClickHouse，ClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库。

在百度MEG数据中台构建的图灵3.0生态以及OneData+开发范式中，TDE-ClickHouse作为重要的基础引擎之一，我们主要从查询性能、数据导入和分布式架构三个方面对其进行了相应优化。

京东综合能源管理平台多维数据分析引擎的架构和设计。

一文解析ClickHouse物化视图

本文基于Elasticsearch/Clickhouse在B站生产环境的容器化/K8s编排能力落地， 将阐述为何我们需要进行容器化/on k8s， 容器化中遭遇的挑战以及解决方案， 落地的技术细节以及收益。

本文主要介绍滴滴日志检索场景从ES迁移到CK的技术探索。

B站为外部公会提供了主播全生命周期的管理系统，包含主播的入退会管理、主播营收数据分析、主播开播看播数据分析、直播监控、营收账单结算等功能子模块。

ClickHouse是一款开源的列式数据库管理系统，适用于在线分析处理（OLAP）场景，本文通过介绍ClickHouse，帮助读者今后快速地处理大规模数据，并获得实时的分析结果，为业务提供有力支持。

Insights gained and lessons learned from our long video analytics migration journey.

ClickHouse是一个开源的高性能面向列的数据库，用于在线分析处理。Lyft决定扩展ClickHouse并废弃Druid，将现有的Druid用例迁移到ClickHouse。ClickHouse相对于Druid具有简化的基础设施管理、较低的学习曲线、数据去重、较低的成本和专门的引擎等优势。Lyft通过基准测试和性能分析来评估ClickHouse，并进行了平滑的迁移过程。他们在Lyft使用ClickHouse的架构是基于Altinity的Kubernetes Operator，在HA模式下运行，使用AWS M5类型的计算实例和EBS卷进行存储。数据的摄取主要通过Kafka和Kinesis进行，并通过内部代理和可视化工具进行读取查询。Lyft在ClickHouse上处理大量数据，并对查询性能进行了优化，包括使用排序键、跳过索引和投影等技术。他们在ClickHouse上处理多个用例，包括市场健康、政策报告、花费追踪、预测和实验等。然而，在使用ClickHouse过程中也遇到了一些问题，如查询缓存性能和与Kafka集成的问题。此外，Lyft计划进一步扩展ClickHouse的使用，包括稳定批处理架构和使用流式Kinesis摄取。他们还计划将Flink SQL迁移到ClickHouse，并考虑使用ClickHouse Keeper替代ZooKeeper以减少外部组件依赖。

作为线上定位问题和排查故障的重要手段，日志在可观测领域有着不可替代的作用。因此，日志系统需要追求稳定性、性能、成本、易用性、可扩展性等关键点。

目前我司的日志系统是基于ELK的，支持云主机、容器日志采集和特殊分类日志的综合采集等功能。但是随着公司的业务发展，日志应用场景逐渐遇到了一些瓶颈：

1. 数据增长和处理需求增加：业务的不断扩张和数据量的增加，原有的日志系统无法满足现有的数据处理需求。数据处理速度变慢，存储空间不足等问题。
2. 数据质量和可靠性要求提高：日志数据对于公司业务和运维至关重要，因此数据质量和可靠性要求越来越高。原有的日志系统存在日志丢失、日志收集慢等问题，需要进行改进。

现状：目前总共运行 8个 ES 集群，机器数量100+， Logstash 机器 50+，需要的硬件和维护成本很高，通过扩容的方法去满足业务场景，ES集群会太大会变动不稳定，创建独立集群，也需要更高成本，两者都会使得成本和维护工作量剧增。

鉴于这些问题，去年下半年开始探索新的日志系统架构，以彻底解决上面的问题。

用搭建轻量级流程引擎的方案，教你解决数据一致性难题。

REDck 通过云原生架构升级，能够处理万亿级数据规模，实现秒级 OLAP 查询，支持分钟级自动故障恢复、弹性扩缩容能力，成本优化效果显著。