中间件与数据库:StarRocks
StarRocks存算分离在得物的降本增效实践
Clickhouse虽然单机性能首屈一指,但分布式架构存在水平扩展性、元数据管理,数据一致性,join查询性能等一系列问题。随着业务增长,集群面临一些实际问题。
StarRocks在同程旅行的应用与实践
解析StarRocks在同程旅行的生产落地实践。
全托管 StarRocks 在七猫的应用和实践
现在七猫有多套全托管 StarRocks 集群在生产环境投入了使用,部分 StarRocks 集群从 EMR StarRocks 集群逐步升级成为全托管 StarRocks 集群。据不完全统计,数据治理前离线数据加实时数据,总数据量大约在 20PB 左右。
探索 StarRocks on Kubernetes
StarRocks是一个高性能的分析型数据库,专为大规模数据分析而设计。它采用了MPP(Massively Parallel Processing)架构,能够在多个节点上并行处理查询,从而实现快速响应。
微信基于 StarRocks 的湖仓一体实践
微信作为国内活跃用户最多的社交软件,其数据平台建设经历了从 Hadoop 到 ClickHouse 亚秒级实时数仓的阶段,但仍旧面临着数据体验割裂、存储冗余的问题。通过 StarRocks 的湖仓一体方案,以及和社区密切配合开发的实时增量物化视图,微信解决了“实时、极速”背后的“统一”诉求。在直播业务场景中,通过湖上建仓的方案改造,使得数据开发同学需要运维的任务数减半,同时存储成本降低65%以上,离线任务产出时间缩短两小时。
当前,基于 StarRocks 的湖仓一体方案已经在微信的多个业务场景中上线使用,包括视频号直播、微信键盘、微信读书和公众号等,集群规模达到数百台机器,数据接入量近千亿,向理想化的湖仓一体形态不断演进。
StarRocks跨集群迁移最佳实践
2024年之前,DBA维护的StarRocks集群存在在用低版本多、稳定性受组件bug影响大的问题,给日常运维带来很一定压力,版本升级迫在眉睫。于是,我们在今年年初安排了针对2.5以下版本升级2.5.13的专项,在此做一个实践分享。
基于 StarRocks 的风控实时特征探索和实践
风控实时特征场景是典型的大数据实时业务场景,风控团队也采用了业界典型的Lambda架构,和Kappa架构,但这两种架构仍存在明显的痛点问题。为解决其痛点,我们开始了基于StarRocks实现实时数仓解决风控实时特征痛点问题的探索和实践。
QPS 提升 10 倍!滴滴借助 StarRocks 物化视图实现低成本精确去重
高并发精准去重的最佳实践,文中含详细构建过程。
StarRocks在支付对账领域的应用
对账是企业为了核实财务交易准确性、管理库存和了解业务绩效而进行的核对和调解过程。
ARM架构下部署StarRocks3
在科技高速发展的当下,ARM 架构由于其开源性和功耗上的优异表现正在受到越来越多的关注,大数据相关的各种组件也纷纷推出了基于 ARM 架构的版本用于更好的支持用户体验。
StarRocks 的表设计规范与监控体系
微盟引入StarRocks后,对制表的规范做出总结以及整体监控体系的介绍。
提速10倍+,StarRocks 指标平台在携程火车票的实践
StarRocks加持的快速灵活指标平台,让取数更加灵活快捷。
StarRocks在捞月盘货中的实践
货品活动运营在圈选所需货品清单时,需要操作自助取数、智能运营系统、数据报表等多个系统工具才能完成。需要一个以供给侧盘货为核心需求的盘货工具,实现运营各场景盘货及货品分析诉求,提升运营效率。
StarRocks应用优化实践
StarRocks(以下简称SR)是新一代极速全场景 MPP 数据库,可以满足多种分析需求,包括 OLAP 多维分析、定制报表、实时数据分析;伴随公司 WOS 升级战略,BI 在 WOS 系统中的选型 SR 作为数据分析层数据库;SR 应用实践过程中随迁移 WOS 的商户越来越来多,SR 内数据随之增大,逐渐暴露出来一些内存不足问题,主要为以下问题造成:
- 主键模型表常驻内存持续增大,最高占用可用内存的16%。
- tablet过多,270张表160W+个tablets,小于100M的约占90%。
得物基于 StarRocks 的 OLAP 需求实践
未来希望 StarRocks 优化提升主键模型内存占用,支持更灵活的部分列更新方式,持续优化提升 Bitmap 查询性能,同时优化多租户资源隔离。
基于Flink+Starrocks建设之家广告实时数据
汽车之家广告主题离线数仓从2015年开始建设至今,一直能够满足车智投、DSP等广告业务的日常分析及报表支持。