话题中间件与数据库 › StarRocks

中间件与数据库:StarRocks

京东物流基于Flink & StarRocks的湖仓建设实践

京东物流实时湖仓建设中,结合Flink与StarRocks,优化了数据流处理与存储架构。通过联邦查询与物化视图,实现了分钟级数据聚合与查询,支持复杂业务场景。存算分离策略降低了存储成本,提升了长周期数据的访问效率。未来将推广长周期数据存储服务,进一步优化数据分析体验。

深度剖析 StarRocks 读取 ORC 加密文件背后的技术

本文深入解析了StarRocks数据库如何高效读取ORC加密文件。通过剖析ORC文件的三层索引和四层结构,详细介绍了加密数据的读取流程,包括密钥管理、数据解密与解压的协作机制。重点探讨了加密块的跳读机制,结合AES加密模式与压缩算法的应用,提升了查询效率与数据安全性。

Building a Spark observability product with StarRocks: Real-time and historical performance analysis

Grab 的 Spark 可观测性工具 Iris 通过引入 StarRocks 数据库,解决了实时和历史数据管理的挑战。新架构简化了数据流,支持复杂查询和实时监控,提升了查询性能和用户体验。通过 Kafka 直接数据摄入、物化视图和动态分区优化,Iris 实现了高效的数据存储与分析,为 Spark 作业提供了更强大的监控和调试能力,推动了资源管理和决策效率的提升。

StarRocks 在七猫的应用(四)-探索 StarRocks 读取 Paimon 优势及物化视图加速能力

面对海量小说数据,StarRocks通过直接查询、Data Cache和异步物化视图,显著提升查询效率。其Catalog功能简化了Paimon数据湖的管理,支持多元数据融合分析,助力精准推荐和内容创作。未来,StarRocks将优化元数据管理、执行计划和物化视图,进一步强化实时数据处理能力,推动公司业务发展。

StarRocks 在七猫的应用(三)-实时数据写入与查询性能优化

StarRocks在实时数据处理中表现出色,通过Delete & Insert模式、CBO优化器和向量化执行引擎,显著提升了数据导入和查询性能。开发流程简化,数据准确性高,运维便捷。针对复杂查询,使用物化视图和二级分区策略,进一步优化了查询效率,大幅减少了数据扫描量,提升了查询速度。

腾讯大数据基于 StarRocks 的向量检索探索

向量检索技术通过近似最近邻查询(ANN)提升性能,结合量化、倒排和图算法(如HNSW)实现高效检索。StarRocks引入该技术后,查询延迟从15秒降至2秒,成本降至1/3。该技术适用于大模型场景,支持混合检索、范围查询等,优化了前过滤与后过滤策略,确保高召回率和低延迟,为海量数据处理提供高效解决方案。

深入解析 StarRocks 物化视图:全方位的查询改写机制

查询改写让分析更简单、更高效!

StarRocks存算分离在得物的降本增效实践

Clickhouse虽然单机性能首屈一指,但分布式架构存在水平扩展性、元数据管理,数据一致性,join查询性能等一系列问题。随着业务增长,集群面临一些实际问题。

StarRocks在同程旅行的应用与实践

解析StarRocks在同程旅行的生产落地实践。

全托管 StarRocks 在七猫的应用和实践

现在七猫有多套全托管 StarRocks 集群在生产环境投入了使用,部分 StarRocks 集群从 EMR StarRocks 集群逐步升级成为全托管 StarRocks 集群。据不完全统计,数据治理前离线数据加实时数据,总数据量大约在 20PB 左右。

探索 StarRocks on Kubernetes

StarRocks是一个高性能的分析型数据库,专为大规模数据分析而设计。它采用了MPP(Massively Parallel Processing)架构,能够在多个节点上并行处理查询,从而实现快速响应。

微信基于 StarRocks 的湖仓一体实践

微信作为国内活跃用户最多的社交软件,其数据平台建设经历了从 Hadoop 到 ClickHouse 亚秒级实时数仓的阶段,但仍旧面临着数据体验割裂、存储冗余的问题。通过 StarRocks 的湖仓一体方案,以及和社区密切配合开发的实时增量物化视图,微信解决了“实时、极速”背后的“统一”诉求。在直播业务场景中,通过湖上建仓的方案改造,使得数据开发同学需要运维的任务数减半,同时存储成本降低65%以上,离线任务产出时间缩短两小时。

当前,基于 StarRocks 的湖仓一体方案已经在微信的多个业务场景中上线使用,包括视频号直播、微信键盘、微信读书和公众号等,集群规模达到数百台机器,数据接入量近千亿,向理想化的湖仓一体形态不断演进。

StarRocks跨集群迁移最佳实践

2024年之前,DBA维护的StarRocks集群存在在用低版本多、稳定性受组件bug影响大的问题,给日常运维带来很一定压力,版本升级迫在眉睫。于是,我们在今年年初安排了针对2.5以下版本升级2.5.13的专项,在此做一个实践分享。

基于 StarRocks 的风控实时特征探索和实践

风控实时特征场景是典型的大数据实时业务场景,风控团队也采用了业界典型的Lambda架构,和Kappa架构,但这两种架构仍存在明显的痛点问题。为解决其痛点,我们开始了基于StarRocks实现实时数仓解决风控实时特征痛点问题的探索和实践。

QPS 提升 10 倍!滴滴借助 StarRocks 物化视图实现低成本精确去重

高并发精准去重的最佳实践,文中含详细构建过程。

StarRocks在支付对账领域的应用

对账是企业为了核实财务交易准确性、管理库存和了解业务绩效而进行的核对和调解过程。

- 위키
Copyright © 2011-2025 iteam. Current version is 2.143.0. UTC+08:00, 2025-05-15 22:30
浙ICP备14020137号-1 $방문자$