数据治理在成本优化上的实践

1. 数据治理在成本优化上的实践周邦涛美团数据平台资源效率&数据生产负责人

2.

3. 我是谁，又为什么是我？ • 目前在负责数据生产、资源效率。 • 先后负责过数据开发平台、模型管理、数据质量、查询服务、元数据管理等的平台建设，也负责过业务数仓建设。 • 2015年加入美团，已经7年光景

4. 说说大数据 IDC：存储会以23%的复合增长率增长信通院：算力未来会以超过50%的复合增长率增长

5. 关于美团数据平台（来源：美团公开介绍材料）数据平台美团的基础服务，各个业务有自己的数据团队，使用数据平台服务。不同于公有云，数据平台具有服务和治理的双重职责。外卖配送酒店 … 打车公共数据数据平台快驴电商优选数据平台已经成长为网站运维成本的绝对大头。集群规模总数据量日新增数据量生产任务量万级 EB级 PB级十万级

6. • 美团成本治理全貌 • 统一元数据 - 做好预算和优化的基础 • 预算管理 - 被忽视了的治理环节 • 资源优化 - 成本治理的核心 • 总结及展望

7. 美团成本治理发展历程集群规模：百级别到千级别核心问题：如何快速发展典型特点： • 数据平台按照过去增量采购机器，业务无需提报预算。 • 业务没有资源意识，认为集群资源无限。 • 资源管理相关需求还处在建队列、加用户的阶段。集群规模：千级别到万级别集群规模：万级核心问题：如何良性发展核心问题：如何有效的提效降本典型特点：典型特点： • 业务按照自己的需求进行线下提报 • 预算提报系统化，结构化，租户预算。化。 • 通过资源隔离，开启资源抢占，账 • 大数据资源优化工作组成立，从公单等驱动业务形成资源优化意识。司层面驱动资源效率的治理工作。 • 资源管理需求日益增加，开始对部 • 资源管理常态化，进入全流程产品分流程进行系统化的尝试和探索。化提效阶段。蛮荒期探索期成长期 2015年以前 2015-2018年 2018年-至今

8. 美团成本治理全貌资源管理平台预算管理资源申请盘点复盘机制预算交付调整监控资源优化退回洛书治理工具箱计费分配建设资源管理平台，提高业务干预资源的效率合理使用优化治理治理生命周期提效降本总体成本可控合理预算水结构化提报电流出不合理使用（P）优化目标气（D）实施治理（A）评估流程（C）跟进效果统一元数据预算Review 结构化建设预算流程机制并运营，提高预算合理性分析业务元数据（模型、类目）技术元数据管理元数据全链路字段级血缘通过元数据集成及资产盘点构建资产画像，结构化预算，精细化治理精细化提供资源治理工具、方法和驱动策略，提效治理

9. 统一元数据

10. 统一元数据通过元数据集成系统、全链路数据追踪系统OneDataTrace构建统一元数据

11. 预算管理

12. 预算管理预算管理相关的流程及问题 ๏ 预算质量参差不齐，资源预估的粒度太粗，可评估性差，不可Review。 ๏ 预算阶段bottom-up和top-down断层，信息存在严重gap 方式一根据历史资源增长情况做线性或非线性拟合预估缺点：跟业务目标无关无法Review Top-down 审批预估方法方式二方式三根据财务指导线拍，在各资源间分配缺点：跟业务间接相关，但缺乏技术判断根据业务目标增长率，同比预估资源增长率缺点：资源和业务目标的关系说不清粒度太粗缺少信息不可评估决策困难、周期长一刀切 Bottom-up 提报

13. 预算管理根据元数据信息解构数仓，结构化预算，预算可评估数据资产盘点而来业务目标  可优化内容预算存量资产自然增长新项目需求  优化方法计划优化  预期优化资源量  优化计划  需要的支持

14. 预算管理在整体预算流程和机制上，形成预算申请、合理使用、优化治理、盘点复盘的正向迭代流程上良性可迭代机制预算决策资源申请决策层为合理性做背书 Review专家小组盘点复盘合理使用预算Review 优化治理结构化提报业务盘点复盘结构化提报样例结构化提报优化治理效果：每年2~5%的不合理资源需求被优化在采购前

15. 资源优化

16. 资源优化 – 核心问题资源优化面临的核心问题核心问题一核心问题二核心问题三哪里可以优化？怎么优化？涉及的资源有计算、存储，事前、事中、事后如何高效优化？分析 – 分配 – 治理 – 效果复盘如何驱动持续优化？自驱 -> 他驱

17. 资源优化 – 识别和治理方法存储资源相关的治理项及治理手段，发现哪儿可以优化并在前中后提供治理能力治理能力治理项 ๏模型冗余 ๏表/分区冗余 ๏无效存储 ๏生命周期不合理 ๏未压缩 ๏存储选型不合理 ๏无责任人配置生命周期生命周期配置默认ORC格式温数据 RAID、降幅本测试表进测试库禁写冷数据 S3、蓝光、EC 中间表清理无用数据删除中间表进暂存库压缩配额配置前中后模型重构

18. 资源优化 – 识别和治理方法计算资源相关的治理项及治理手段，发现哪儿可以优化并在前中后提供治理能力治理能力治理项 ๏高耗资源任务 ๏高失败率任务配置生命周期小文件检查 ๏低利用率任务 ๏数据倾斜任务 ๏暴力扫描 ๏产生大量小文件任务 ๏无效任务倾斜告警参数优化（手册）逻辑优化（手册）倾斜检查小文件过多告警扫描检查查杀下线中后性能测试前

19. 资源优化 – 治理工作台业务治理的流程和参与的角色

20. 资源优化 – 治理工作台治理产品多视角分析哪里可以治理，可以获得多少收益 ๏资源视角： ๏已治理 ๏待治理 ๏组织视角 ๏团队 ๏租户 ๏个人

21. 资源优化 – 治理工作台治理负责人通过治理产品分配任务，进入治理流转治理负责人挑选ROI较高的治理项创建治理计划，分配治理。

22. 资源优化 – 治理工作台资产负责人通过治理产品开展具体治理工作 ๏治理操作 ๏移交 ๏删除 ๏下线 ๏压缩 ๏冷存 ๏配置生命周期不同资源问题不同的治理操作

23. 资源优化 – 治理工作台自动化治理提高常态化治理效率 ๏问题： ๏治理不及时、不持续 ๏治理负责人工操作成本高

24. 资源优化 – 驱动如何驱动持续优化？自驱横向对比他驱业务数据团队数据公会资源优化工作组

25. 资源优化 – 驱动横向对比：数据公会建立事实标准，所有业务拉齐通晒 ๏组织团队参赛。 ๏季度评比，颁奖。 ๏团队根据琅琊榜提示的问题治理。 ๏优秀团队分享经验。

26. 资源优化 – 驱动他驱：资源优化工作组会自顶向下，在更高层面达到共识数据执行委员会例行会议，由各工作组提出议题并在会议上达成一致。

27. 资源优化 – 效果效果日均清理数据量年优化算力成本节约 PB级万核级别千万级别

28. 总结及展望

29. 总结 ๏前言和全貌： ๏预算管理： ๏美团数据平台是私有云、toB模式、体量巨大。 ๏结构化预算提报，预算可评估 ๏美团成本治理贯穿了资源全生命周期。 ๏通过Review小组和流程机制，消除业务预算和决策之间的信息差。 ๏统一元数据： ๏美团建立完善的全链路血缘、分层、热度等元数据体系。 ๏美团通过自动化 + 人工的方式进行资产盘点，正在向常态化管理演进。 ๏资源优化： ๏发现：资源问题识别指标，并建设了前、中、后的检查项和治理手段 ๏工具：建立了从分析 – 分配 – 治理 - 效果复盘的全流程产品，提高业务治理效率。 ๏驱动：自驱 -> 他驱；官方组织 + 民间组织的方式驱动优化。

30. 展望 • 开发即治理 • 引擎参数自动化配置 • 基于达成时间的编排调度 • 冷热数据自动分层

31.

32.