京东广告基于Apache Doris的冷热数据分层实践

京东广告基于 Apache Doris 的冷热数据分层实践

摘要

Doris冷热分层方案历经V1数据湖和V2分布式存储两代演进。V1通过SDC将冷数据入湖,实现查询解耦,但存在ETL复杂、Schema变更受限等问题。V2基于分布式存储,支持冷数据自动迁移,简化了架构,但需限流冷查询。升级至Doris 2.0后,解决了查询性能下降、分桶裁剪失效、FE CPU使用率高等问题,优化了冷数据Schema Change,提升了并发查询能力和存储效率,显著降低了成本。