基于StarRocks的极速实时数据分析实践

基于 StarRocks 的极速实时数据分析实践

摘要

在汽车之家内部，实时数据的来源主要是三部分：

• 手机端户行为的日志；
• 应用程序的服务端的日志；
• MySQL、SQLServer数据。

实时数据分析场景，目前面临的一些痛点包括：

• 使用 Flink 做指标聚合，Flink 聚合不灵活，面对需求的时候开发成本比较高的，面对多变的需求，经常需要重复开发；
• Kylin 支持指标预计算，并发支持较好，但是不能够支持高效的明细数据查询。在一些需要下钻或者获取明细数据的场景支撑的不够好；
• TiDB 不支持预聚合模型，某些数据量大的场景，聚合指标需要在线计算。在线计算会导致服务器压力瞬间增大，而且查询性能不稳定，取决于参与计算的数据量和当时服务器的负载情况。