微信基于 StarRocks 的湖仓一体实践

微信基于 StarRocks 的湖仓一体实践

摘要

微信作为国内活跃用户最多的社交软件，其数据平台建设经历了从 Hadoop 到 ClickHouse 亚秒级实时数仓的阶段，但仍旧面临着数据体验割裂、存储冗余的问题。通过 StarRocks 的湖仓一体方案，以及和社区密切配合开发的实时增量物化视图，微信解决了“实时、极速”背后的“统一”诉求。在直播业务场景中，通过湖上建仓的方案改造，使得数据开发同学需要运维的任务数减半，同时存储成本降低65%以上，离线任务产出时间缩短两小时。

当前，基于 StarRocks 的湖仓一体方案已经在微信的多个业务场景中上线使用，包括视频号直播、微信键盘、微信读书和公众号等，集群规模达到数百台机器，数据接入量近千亿，向理想化的湖仓一体形态不断演进。