中间件与数据库:StarRocks
基于StarRocks的极速实时数据分析实践
在汽车之家内部,实时数据的来源主要是三部分:
- 手机端户行为的日志;
- 应用程序的服务端的日志;
- MySQL、SQLServer数据。
实时数据分析场景,目前面临的一些痛点包括:
- 使用 Flink 做指标聚合,Flink 聚合不灵活,面对需求的时候开发成本比较高的,面对多变的需求,经常需要重复开发;
- Kylin 支持指标预计算,并发支持较好,但是不能够支持高效的明细数据查询。在一些需要下钻或者获取明细数据的场景支撑的不够好;
- TiDB 不支持预聚合模型,某些数据量大的场景,聚合指标需要在线计算。在线计算会导致服务器压力瞬间增大,而且查询性能不稳定,取决于参与计算的数据量和当时服务器的负载情况。
数据库StarRocks在信也科技的应用实践
信也科技通过引入新一代性能彪悍的MMP架构数据库StarRocks来构建实时数仓平台,进行实时数据分析,提供统一的数据服务:降低业务使用复杂度,提升用户体验,实现生产效率最大化。
StarRocks在携程大住宿智能数据平台的应用
70%的实时数据场景已经接入,查询响应速度平均在200ms左右。