中间件与数据库:ClickHouse
基于EMR OLAP的开源实时数仓解决方案之ClickHouse事务实现
Flink 和 ClickHouse 分别是实时流式计算和 OLAP 领域的翘楚,很多互联网、广告、游戏等客户都将两者联合使用于构建用户画像、实时 BI 报表、应用监控指标查询、监控等业务,形成了实时数仓解决方案(如图-1)。这些业务对数据的准确性要求都十分严格,所以实时数仓整个链路需要保证端到端的 Exactly-Once。通常来说 Flink 的上游是可以重复读取或者消费的 pull-based 持久化存储(例如Kafka),要实现 Source 端的 Exactly-Once 只需要回溯 Source 端的读取进度即可。Sink 端的 Exactly-Once 则比较复杂,因为 Sink 是 push-based 的,需要依赖目标输出系统的事务保证,但社区 ClickHouse 对事务并不支持,所以针对此情况阿里云 EMR ClickHouse 与 Flink 团队一起深度研发,支持了 Flink 到 ClickHouse 的 Exactly-Once写入来保证整个实时数仓数据的准确性。本文将分别介绍下现有机制以及实现方案。
Apache Doris和ClickHouse的深度分析
全面分析对比了Apache Doris和ClickHouse各自的优劣势。
Shopee ClickHouse 冷热数据分离存储架构与实践
使用 JuiceFS 客户端 mount 远端对象存储到本地机器路径,通过编写 ClickHouse 的存储策略,如同使用多卷存储一样使用远端对象存储。
基于ClickHouse的用户行为分析系统
本文分享的是一个“亿级数据秒级分析”。包括但不限于介绍用户行为分析系统的组成、ClickHouse集群的部署、从Hive到ClickHouse的推数、用户数据及建表以及五种行为分析等。
Clickhouse在唯品会的实践
目前唯品会在实时领域主要使用Flink +ClickHouse解决方案,覆盖业务场景主要包括实验平台、agamotto监控、OLAP 查询日志等,整体响应80%在5秒内完成,大大提升了用户实时取数体验,推动业务快速迭代发展。
ClickHouse 在有赞的实践之路
本文主要介绍了 ClickHouse 的简单原理,有赞 OLAP 相关组件以及 ClickHouse 在有赞的实践之路。
Clickhouse的实践之路
在数据量日益增长的当下,传统数据库的查询性能已满足不了我们的业务需求。而Clickhouse在OLAP领域的快速崛起引起了我们的注意,于是我们引入Clickhouse并不断优化系统性能,提供高可用集群环境。本文主要讲述如何通过Clickhouse结合大数据生态来定制一套完善的数据分析方案、如何打造完备的运维管理平台以降低维护成本,并结合具体案例说明Clickhouse的实践过程。
JUST技术:CK实现时序数据管理
本次京东城市为您带来的技术分享是,JUST(https://just.urban-computing.cn/
性能提升400%,ClickHouse在携程酒店数仓的实践
后续将整合更多主题入仓。
ClickHouse留存分析工具十亿数据秒级查询方案
留存分析工具秒级查询的数据构建方案
基于Clickhouse实现实时聚合计算秒级响应技术方案
为了能够实时地了解线上业务数据,京东算法智能应用部打造了一款基于Clickhouse的实时计算分析引擎。
携程ClickHouse日志分析实践
查询速度提升4.4倍到38倍不等