货拉拉基于混合云的大数据成本管控体系建设实践

1. 货拉拉基于混合云的大数据成本管控体系建设实践王海华

2.

3. 自我介绍王海华货拉拉大数据架构师/基础架构负责人 • 8年以上大数据架构经验 • 涉及大数据平台产品架构/安全/稳定性/云原生等方向 • 负责过几千到几万台大规模大数据集群和架构 Apache Hive/Spark/Alluxio contributor

4. 目录 1 背景和挑战 2 大数据成本管控体系 3 存储成本优化 4 计算成本优化 5 总结与未来展望

5. 1 背景和挑战

6. 货拉拉介绍 8+ 352 760万 58万业务线国内城市月活用户月活司机 3+ 1000+ 10PB+ 20K+ IDC 机器数存储量日均任务数

7. 货拉拉-大数据大数据使命：驱动业务数智化，助力公司业务持续增⻓辅助决策类应用应用层服务层数据应用经营分析赋能业务类应用用户分析实时报表平台层 &数仓集市层用户集市用户集市 DIM IDP数据集成开发数据接入平台基础层大数据基础平台数据云服务标签画像体系 …… 特征体系司机集市司机集市 DWB明细数据整合层主数据库 DWB DWT 基础整合层明细数据层 DWD明细数据层数据治理平台 …… 指标体系元数据管理 DIM维表层数据质量管理数据安全管理数据成本管理数据湖接入（T+1、近实时、实时） ODS贴源数据层离线数据接入实时数据接入埋点数据接入特征平台 AI平台数据资产 DWS公共汇总服务层 DWS公共汇总服务层⻜流实时开发 AB Test 快速报表数据仓库 BQ数据即席查询接入层数据上报 …… 数据智能支撑工具快捷分析用户画像数据研发平台智能广告投放数据服务工具数据应用支撑服务工具大数据分析平台大数据分析平台可视化大屏数据工具箱可视化数据工具箱自助分析多维分析固定报表自助分析固定报表预警/告警监控指标库管理智能营销鹰眼监控数据对账数据链路监控离线计算(Hive/Spark/Presto/...) 实时计算(Flink) OLAP多维分析(Druid/CK/Doris) 资源管理(YARN/K8S) 离线存储(HDFS/OBS) 在线存储(Hbase/ES) 数据⻔户权限⻔户中心首⻚权限中心知识库知识库个人中心个人中心内容管理内容管理建议反馈建议反馈

8. 背景和挑战场景多样性 01 数据资产多样性 02 03 成本管控挑战

9. 背景和挑战-场景多样性流量/计算量离线实时在线 0 12 24 时间

10. 背景和挑战-数据资产多样性数据资产类型各类表数据接口实时任务离线任务报表 Hive表指标特征标签

11. 背景和挑战-成本管控挑战 1. 成本和单均成本⻜速增⻓？不可控 2. 成本是谁花出去的？不知道 3. 成本使用合理不合理？不清楚

12. 背景和挑战-成本管控思路数据资产梳理成本预算管控和辅助治理能力具备基本成本管控能力成本运营存储和计算深度优化能力 !"#$%& 助力公司和用户成本进一步降低基于健康度的成本运营能力成本分摊预算申请和管控深度优化保持存储和计算资源保持在健康水位辅助治理

13. 2 成本管控体系

14. HLL大数据成本管控体系成本管控体系禁止新建任务禁止生产操作降低预算申请治理收益榜单资产健康分红黑榜惩罚措施徽章展示优秀治理个人评选激励措施持续运营预算申请健康度提升资源预算预算使用跟踪预算预警和限制辅助治理成本目标预算控制技术优化离线存储计算任务数据压缩数据归档数据生命周期任务下线资源优化数据资产度量成本（个人/部⻔）资源池离线计算资源离线存储资源离线计算离线存储实时计算资源在线存储资源实时计算在线存储健康分（个人/部⻔）任务计算健康分存储健康分

15. 预算管控流程 HLL大数据成本管控体系预算管控流程月度复盘成本分摊开始根据单量调整目标预算是否超预算资源测算预算申请预算审核预算申请和确认是预算预警季度复盘连续3个月超预算? 是降低预算申请禁止新建任务成本治理预算跟踪与预警年终复盘禁止新建表预算限制结束

16. 预算预警与限制 HLL大数据成本管控体系预算预警与限制 ! 年度预算拆分到月度预算 ! 超出月度预算，进行预算预警 ! 连续一个季度超出月度预算，执行预算限制措施 ! 治理达标后限制解除

17. 数据资产度量 HLL大数据成本管控体系数据资产度量任务优化资源优化场景存储治理冷热分层成本运营服务层成本明细资源使用明细成本账单存储健康分任务健康分平台数仓层租户成本汇总表租户资源汇总表在线存储明细离线存储明细分区热度统计表报表信息表计算引擎Metrics 表 YARN App信息表离线任务信息表实时任务信息表文件热度统计表 ... 数据源层基础设施存储计算监控计算引擎运维 ... 数据资产 ... 离线任务报表标签实时任务指标 ...

18. 3 存储成本优化

19. HLL大数据成本管控体系存储成本问题 HLL大数据离线存储现状表数量大 17W+ Hive表增速快 4PB/月自然增⻓冷数据量大约33%数据90天内无访问没有做数据生命周期、冷热分层管理

20. HLL大数据成本管控体系存储冷热分层存储治理思路冷热分层分区粒度数据温度分层建能力数据归档管理数据温度展示数据生命周期管理做治理冷数据归档数据生命周期治理无用无效表下线删除

21. HLL大数据成本管控体系存储冷热分层存储冷热分层冷热分层归档收益曲线收益占比热 15% 存储策略 Cache (n >= 1000) 温 25% 温度 (3 <= n < 1000) 冷 10% (0 < n <= 2) 最近90天访问次数标准存储冰 50% (n=0) n: 分区90天内被访问次数归档存储归档或删除

22. 存储冷热分层技术架构 HLL大数据成本管控体系存储冷热分层技术架构冷热分层管理 Presto SQL 分区级热度统计 ... 文件级热度统计数据温度展示 merge 分区热度归档状态管理 SQL查询事件 DML 平台数仓 AuditLog 存储层数据归档归档恢复 AuditLog 归档/恢复数据生命周管理

23. 数据归档能力 HLL大数据成本管控体系存储归档能力生命周期：保留最近n天的分区，n天之前的分区将被回收建表时设置生命周期和归档周期归档周期： n天之前的冷数据将被归档如何选择数据当前时间？当前时间 180天前 ! 分区表 = Max(分区修改时间，分区业务时间pt=YYYYMMDD) 180天数据生命周期 ! 非分区表 = Max(表最后修改时间, 表最后访问时间) 90天数据归档周期 90天前已删除时间已归档标准存储冷热

24. HLL大数据成本管控体系存储优化治理存储优化治理生命周期治理冰冷数据归档存储优化治理文件压缩格式算法升级存量生命周期治理增量生命周期回收存量归档增量归档 snappy -> zlib zlib -> zstd（进行中）存储空间大于1T的表治理空间增⻓TOP 100的表治理日空间增⻓>=10G表的治理专项深度治理无用无效表下线、删除存储空间>=500GB表治理新增表空间增⻓TOP100治理 ODS永久生命周期全量表治理 ...

25. HLL大数据成本管控体系存储优化收益存储优化收益优化前优化后 ◆ 存储优化明显： • 优化前: 存储线性快速增⻓ • 优化后: 存储8个月零增⻓并持续下降 ◆ 累计节省了54%的存储成本

26. 4 计算成本优化

27. 弹性资源管理 HLL大数据成本管控体系存储优化收益弹性计算资源管理-背景离线集群资源趋势夜晚/白天、大促/春节的资源波峰波谷特征明显不同类型资源(离线/实时/在线) 资源特征不同实时集群资源趋势高优离线任务分布集中 (0点-6点之间) 按照高峰期资源需求集群固定大小无法弹性

28. 弹性资源管理-思路自研弹性扩缩容服务实现高低峰资源弹性管理 • 降低低峰期资源浪费 • 不影响高优作业稳定性目标手段利用公有云按需/竞价类型实例实现弹性资源池 YARN 调度改造实现高优作业保障

29. 弹性资源池实例类型单位成本稳定性高公有云预留实例 1.0（基准）高高 1.5 公有云按需实例收费粒度总结天级别现生产主力实例类型，适合做固定保障资源池分钟有一天内分时弹性能力，成本优势一般，稳定性和云库存有保障适合做弹性保障资源池分钟成本优势大，需克服稳定性问题，库存无保障适合做弹性非保障资源池，需要被抢占后补偿策略天/月高低 0.2-0.8（跟公有云竞价实例商务折扣有关）弹性能力分钟低分钟预留实例按需实例竞价实例集群不同类型实例数量变化方案充分利用公有云提供多种实例类型各自优势组合形成弹性资源池 • 保障资源池 • 非保障资源池弹性实例高峰扩容，低峰竞价实例临时扩容低峰缩容 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 缩容高峰扩容 20 21 22 23 24 时间 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47

30. 弹性资源管理-架构 Spock弹性服务实现扩缩容 1 策略和机制自动化运维平台对接公有云 2 弹性资源池 YARN优先级调度支持不同 3 实例类型和高优任务优先调度保障资源池

31. 弹性资源管理-成果原集群资源量优化后集群资源量优化后集群成本 ! 集群成本下降20%~30% 资源节省资源节省 ! 高优作业稳定性不受影响遗留问题：解决集群逻辑资源 0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 时间利用率低问题，未解决物理利用率低问题

32. 计算超卖解决问题：逻辑资源使用率高，物理资源使用率较低问题方案根据集群逻辑资源打满情况下确认 1 物理资源水位有超卖空间 2 确认机器目标物理使用率 3 YARN dynamic resource 刷新机器逻辑资源实现超卖 4 观察CPU利用率和Linux OOM情况，持续调整最佳拆卖比例效果 • 离线和实时集群逻辑资源超卖25% • 任务运行时间无明显影响

33. 计算超卖问题和解决思路 ➢ 内存 Linux OOM问题 ● 任务受影响严重问题 ● 重要Container 被 OOM kill问题 ➢ 任务运行时间影响 ● 机器负载高导致任务变慢后继改进 ➢ 通过持续观察内核日志分析OOM 频率和机器分布，观察超卖临界点 ➢ 设置 AM/NM oom_adj为-1000实现 OOM 保护 ➢ 局部物理负载触发YARN NM unhealthy反压机制来降低负载 ➢ 考虑更多的资源维度 ● Disk/Network/Kernel/... ➢ 基于逻辑Slot的调度机制 -> 基于真实物理负载的资源调度机制

34. 计算任务内存优化方案 1 参数灰度能力：分队列参数个性化能力核心队列 4G 4G 4G ... 普通队列 4G 4G 4G ... 2 修改Container默认声明内存: container内存优化普通队列: 1C4GB -> 1C2GB 核心队列: 1C4GB -> 1C3GB 效果 • Hive任务资源消耗降低15%+ • 任务运行时间无明显影响核心队列普通队列 3G 2G 3G 2G 2G 3G 2G 3G 2G ... 2G ...

35. 5 总结与展望

36. 总结预算和管控持续运营 01 数据资产度量与成本分摊健康分与红黑榜成本预算申请和定期跟踪激励措施成本预警与限制惩罚措施 02 04 辅助治理技术优化数据冷热分层弹性资源管理计算任务浪费、业务价值计算超卖与内存优化数据生命周期与归档能力 03 存储压缩算法升级zstd

37. 一些思考成本目标实现靠体系化建设才能收益最大化保姆式运动式治理 VS 自助式治理技术优化 VS 成本限额场景个性化、持续精进

38. 未来展望大数据云原生：极致的弹性在离线混部、离在线混部成本的深度分摊和价值判断

39.

40.