字节跳动一站式数据治理架构与实践

如果无法正常显示，请先停止浏览器的去广告插件。

1. 字节跳动一站式数据治理架构实践基于数据驱动的分布式治理王慧祥字节跳动全域数据治理负责人

2. 目录 • 机遇与挑战 • 字节数据治理理念 • 分布式数据治理架构及实践 • 数据驱动治理 • 智能化治理探索 • 总结&未来展望

3. 01 机遇与挑战

4. 数据治理挑战 01 02 03 04 治理效益与业务影响的矛盾治理涉及的组织和管理难度大规范“人”的动作难度大缺乏适配性强的产品工具  业务系统、生产流程改造影响业务  需求难统一，全局策略难落  保障治理大目标，无法顾及业务个性需求  ROI 评估：治理收益、时间周期、业务影响  角色多、范围广、链路长  治理目标对齐、管理、跟进难度大  组织越复杂，数据治理难度越大  人员能力参差不齐，对齐目标和优先级困难  治理操作依靠人，规范对人的偏差操作容忍度低  组织文化差异，数据治理落地的方法、挑战、成效各异  现状、问题客观工具缺失  无全局视角工具，直接跳入治理细节  跨部门、跨系统治理目标对齐、协商缺乏治理全流程工具  平台工具不够灵活，只能解决通用治理问题

5. 字节治理挑战文化与效率、业务第一业务要求多业务齐发展业务快速发展快速响应业务需求敏捷迭代 OKR文化每个人都可参与规划与策略制定分解主动寻找实现路径互相对齐组织快速前进高效治理没有集团层面的数据治理委员会各部门采取自决策自治的数据治理模式决策与执行效率很高规模大业务场景丰富 • 互娱 • 电商 • 商业化海量数据数据驱动资产数据盘点，体系建设 • 资产元数据，特征、标签 • 资源使用，存储、计算 • 工具，操作及收益经验数据反哺，算法推荐影响大业务影响 • 数据延迟 • 质量问题 • 数据生命周期

6. 02 字节治理理念

7. 分布式数据自治传统式治理分布式治理目标一刀切、自上而下、运动式组织与制度 • 梳理业务与数据部门，设立公司级别数据治理委员会/部门职权与管理 • 定期梳理公司数据资产，确保资产归属与治理权责明确成果抽查 • 组织定期检查业务治理过程是否符合制度，定期检查治理结果目标多元化、灵活自治、常态化业务影响小周期短，见效快效率高，省人力 • 业务自决策，各级业务/个人都可自驱治理 • 工具灵活，业务根据自身发展按需，治理助力业务发展 • 以业务为目标对齐优先级 • 确认核心数据问题，聚焦投入，非“一刀切” • 业务内治理目标对齐 • 实施、追踪、核算工具化 • 低门槛与算法推荐：业务自驱分析与诊断，自驱优化治理 • 产品横向沉淀业务治理经验，治理规则、策略共享

8. 分布式数据治理平台业务影响小、治理效率高、适配性强业务影响小-灵活的自治模式 • 治理是不同业务与阶段的实践，在规范与组织上应足够灵活，业务可自身发展阶段制定治理内容，自行对齐与制定部分治理标准，互相对齐形成自驱组织 • “一个业务单元内的数据有效性提升为数据治理的范围和目标” 沉淀各业务治理经验，提升治理效率 • 产品辅助业务自驱，沉淀业务经验规则化、策略化、自动化进行持续的数据治理 • 低门槛与算法推荐：业务自驱进行分析与诊断能力，算法赋能治理提效 • 提供自上而下的规划式治理和自下而上的响应式治理适配性强-产品建设覆盖治理全链路 • 从治理规划到执行诊断与复盘全流程进行治理把控。集成多种治理场景-稳定性、质量、安全、成本、报警 • 各模块可独立使用，按需组合，满足不同业务场景下的数据治理需求 • 产品提供完整的开放能力，业务根据自身特性和发展阶段进行接入

9. 分布式数据治理平台-逻辑架构治理用户层管理角色治理评估层健康分体系存储/计算/质量… SLA大盘就绪情况/延迟趋势… 资产大盘数量/资源用量/成本… 报警大盘趋势/起夜率/根因… 治理方案层范围域部门/项目/数据团队/个人资源组/队列/库数仓层级/优先级/成本 Top… 目标域提升健康分降低存储/计算资源优化资产数量… 规则域存储/计算治理规则质量治理规则安全治理规则… 消息域 SLA报警任务运行报警质量规则报警… 健康分驱动流程框架层基础能力层健康分规划驱动确定范围响应驱动报警订阅 Metadata仓库表/任务/报警… 治理推动角色扣分分析问题定位选取规则设定目标问题处置治理规则引擎统计规则/算法规则执行诊断根因登记治理执行角色实施治理消息触达复盘总结优化工具集 TTL/温存/申报SLA… 健康分更新实施治理进展更新大盘分析收益核算存储量/任务量/vcore…

10. 分布式数据治理平台-核心能力数据驱动规划治理智能推荐开放能力资产清晰 • 数据治理的基础 • 对全域数据进行维度划分、打标及相关指标计算规则丰富 • 根据资产特征生成 • 根据资产指标生成 • 根据治理手段生成动线完整 • 管理者视角 • 推动者视角 • 实施者视角收益准确 • 评估体系达标 • 成本缩减 • 优化性能

11. 03 分布式数据治理架构及实践

12. 分布式数据治理-体系建设最小的业务打扰资源大盘治理分析业务单元内制定目标，配合使用常态化及规划式诊 SLA大盘报警大盘断，构建业务自治体系高效的组织形式自定义规则业务单元（划分资产）治理评估灵活配置推进治理的业务单元，自下而上人人参与数实时健康分业务方向（划分人员）系统规则池治理方案专项治理沉淀常态化规则规则管理计算/存储健康分质量健康分治理效果跟踪迭代日常扫描最高的执行效率沉淀专家知识及智能化工具，执行经验的传承与协同，不断提高自动化水平治理大盘业务看板嵌入温存参数优化 TTL 关闭任务业务单元内专连续7天家知通知识沉淀跨业务单元（平台级）无效资产低效资产治理看板/排行榜合并小文件原子操作能力据治理自定义健康分删表消息推送低ROI资产自动治理方案工作台温存操作pipeline（自动化）回收权限等待7天删表/任务通知物理删除

13. 分布式数据治理-治理动线自定义治理、常态化治理推动方案资产干系人治理制定诊断方案 2 使用规划诊断能力，根据资产维度、标签、相关指标等信息圈选数据资产，预设目标，完成时间创建方案 1 3 通过治理全景、业务目标、数据运营资产推送信息，发现资产问题 4 推动者/执行者视角通过治理操作明细，在治理过程中管控治理进度，并根据阶段性目标校准治理策略（激进 OR稳妥）使用平台工具，如TTL调整、删表、转温存、参数优化、任务下线等手段，实施治理操作 5 方案完结后，核对收益是否符合预期，评估治理工作，并复盘治理问题实施者视角

14. 分布式数据治理-推动者动线业务目标 N 治理新方向资产大盘治理全景常态化治理跟踪 Y 日常观测规 N 则沉淀分析诊断制定策略规则/元数据管理圈选资产设定周期诊断方案跟踪治理效果调整规则 Y

15. 分布式数据治理-实施者动线治理操作入口数据运营推送个人工作台成本优化个人健康分诊断明细 SLA治理 • 设置表TTL • 手动调整参数 • 删表 • 补充元信息治理效果跟踪资产状态Review 治理工具治理手段 • 下线任务查看操作明细 • 低热度表转温存 • 降副本 • 小文件合并 • 引擎工具任务参数优化

16. 分布式数据治理-创建方案&目标资产A 命中操作1: 预计收益a 命中操作2: 预计收益b 预估收益有多少？资产B 命中操作1: 预计收益c 命中操作2: 预计收益d max(a, b) 资产A预计收益a sum(a,b) max(c, d) 规则总收益资产B预计收益d 目标如何设置？命中规则x,y操作1: 预计收益a 治理ROI如何？资产A 资产B 命中规则x的操作2: 预计收益 b 命中规则z的操作3: 预计收益 c max(a,b,c) 命中规则y的操作1: 预计收益 e max(e,f) 命中规则z的操作3: 预计收益f 目标配置提效资产C 命中规则x的操作1: 预计收益 g 命中规则y,z的操作4: 预计收益h max(g,h) 预计收益c 预计收益e 预计收益g sum(c,e,g) 规则总收益

17. 分布式数据治理-治理实施&操作 80+ 集中式：平台集中建设规则数据及治理手段 • • 研发人力投入成本高很难匹配所有业务的需求开放能力建设默认规则存储、计算、质量、安全治理场景自定义元数据、规则逻辑分布式：数据开放、规则开放、治理操作开放 • • • 满足个性化诊断治理需求规则迭代稳定后沉淀到平台，实现共赢操作开放，业务自定义组合pipeline，满足精细化治理个性化需求自助接入方法、灵活定义参数精细化治理

18. 分布式数据治理-治理实施&操作（开放性建设）治理产品模块工作台治理全景规划诊断健康分体系治理数据规则库事前检测规则事后治理规则事中监控规则系统规则、自定义规则元数据管理开放插件集成开放接口/数据治理主数据管理元数据接入 (健康分、治理收益、诊断明细) 方案配置（增删改）治理操作规则配置（增删改）系统数仓离线实时业务自定义元数据元数据配置（增删改）

19. 分布式数据治理-收益统计&结果验收数仓离线APP层数据平台治理收益数据自动化收集明细埋点操作事件前端上报结果（评估/收益）标准化： • 内存节约量/利用率 • CPU节约量/利用率 • 产出小文件数量 • … 存储 • 节约物理存储量质量&安全： • 质量监控治理数 • 安全风险处置数生命周期存储资产域 … 小文件合并计算资产域 Topic 事件中心 API Server 操作实时同步模块删表生命周期操作来源收益离线更新模块计算收益元数据来源明细埋点模块治理场景旁路打标计算参数优化格式转换（统一化表达）关联操作任务关闭操作明细存储收益元数据收益明细思路：操作实时同步、收益离线更新、埋点旁路打标扩展元数据基础元数据

20. 分布式数据治理-平台架构资产大盘治理评估数据查询服务治理方案元数据注册规则配置规则解析规则调度 DQL Parser 事件中心操作收集 Source Adaptor CH Adaptor Hive Adaptor 收益收集 ETL 离线同步收益进展开放规则结果汇总收益同步 ClickHouse Message Queue 心跳\状态上报 Task Executor 结果返回治理工具箱参数优化生命周期配置操作小文件合并 … 删表业务数据 HIVE 状态管理 Task Generator Mysql 提交目标管理旁路打标存储介质治理工具结果衡量资产诊断服务业务单元配置规则管理服务 Analyze Engine Mysql Adaptor 诊断明细 HDFS|HMS|YARN|离线调度系统|SPARK|FLINK

21. 04 数据驱动治理

22. 数据驱动治理如何高效定位资产问题资产体系盘点资产数据，构建完备的元数据组织方式，通过特征、标签描述元数据，根据不同场景设计治理策略（存储、计算等） 01 评估体系如何高优治理业务资产数据构建全公司的治理评估体系，提炼核心资产问题项通过对资产打标，可快速定位高优待治理资产如何快速完成资产治理挖掘、沉淀并复用治理经验通过往期治理经验，并对行为埋点数据分析，智能推荐治理目标 04 02 经验复用 03 规则体系数据驱动闭环

23. 整体数据架构分布式治理平台数据地图平台治理POC 数据运营 CN VA SG 私有化公有云 SLA保障特征标签治理规则健康分目标推荐权限控制分层体系数据域模型设计 APP DM DWM DWD D I M 报警域任务域权限域流量域质量域成本域资产域治理域查询域 Oncall答疑 ODS 离线调度系统质量保障数据管理系统 HMS HDFS Yarn/Spark 任务运维

24. 数据驱动-资产体系建设治理全景 01. 数据分析与展示能力，解释性强，功能丰富大盘、趋势、明细元数据仓库维度划分 9大数据主题域团队、项目、资源组数据采集 02. 根据数据特征划分不同主题域，提供稳定可靠的维度、指标等 03. 全链路保障数据采集，做到数据无丢失、可监控、质量稳定 04. 从源头对资产数据打标，血缘脉络清晰，可追踪、可优化业务DB、消息队列、数据推送、数据拉取组件与平台存储(HDFS|HIVE)、调度(YARN|SPARK|FLINK)、平台(质量监控|研发)

25. 数据驱动-评估体系建设从完备的数据域建立资产评估体系，将资产问题具像化，并提炼高优问题项根据资产类型进行分数加权计算，形成健康分，在公司层面达成共识，进行推广运行 TTL不合理存储无效存储数据无查询小文件数过多存储格式不合理异常存储全局视角整体评估单指标分数团队视角个人视角趋势曲线资产问题数治理成效资源消耗无效计算计算数据倾斜低优任务调度在高优队列数据及时性数据内容质量质量诊断连续失败资源申请不合理异常计算催办成员排名成本收益同环比值产出表无热度资产评估体系多维分析产出表为空监控告警任务稳定性元信息完整性 SLA buffer不足核心任务缺失质量监控质量监控不达标核心任务缺失告警配置非核心任务配置夜间值班计划高优任务运行在低优队列层级信息缺失描述或中文名缺失

26. 数据驱动-规则体系建设 • 完备的治理规则能力 • 存储、计算、质量、报警4大维度（80+） • 全局规则 & 自定义规则 1 2 3 数据模型规则体系资产圈选 • 数据建设 • 分析挖掘 • 规则建模 • • • • 存储规则计算规则质量规则报警规则 • 资产维度 • 特征细节 • 指标范围  生命周期永久 /近7天产出为空 / 暴力扫描任务  生命周期xxx天 / 近xxx天产出为空 • 统计类规则 & 挖掘类规则  近90天无访问表 / 数据倾斜任务  相似库表 / 相似任务 • 根据规则圈选资产范围 • 用户自定义规则

27. 数据驱动-智能提效 TTL推荐合理设置表生命周期阶梯分层推荐TTL • 访问热度 • 表分层 • ODS • DWD • 表类型 • 全量表 • 增量表温存推荐减少存储层压力通过打分机制推荐 • 访问得分 • 访问周期 • 访问次数 • 总文件大小得分 • 目录总大小 • 文件平均大小 • 元数据平台目录得分 • 基础库，核心目录减少进入温存得分 • 跨机房访问状况，越频繁使用，越不应导入温存治理目标推荐精细化推进资产治理根据治理经验数据预测治理收益 • 单资产多操作收益预估 • Max(O1,O2) • 多规则的目标计算 • Max(R1,R2,R3) • 考虑治理整体完成度，初步将总目标值计算最后 * 40%

28. 05 智能化治理探索

29. 思考：数据治理智能化操作简易集成化、结果可度量、效果好解决业务痛点强化治理能力数据支撑多服务、多引擎、海量数据助力降本增效算法引擎规则库、经验分析、自主纠错

30. 智能化治理实践-基于血缘和热度的推荐热度数据作为判断数据访问情况的有效输入，其数据的精细化可以为更为细致、激进的治理提供数据支撑。数据维度广，完善度高，来源可覆盖全公司处理流程统一，可明确访问次数概念最终结果可衡量，有效提升业务治理效率血缘数据查询埋点数据 Yarn Application join by app id Query Service 离线任务离线任务执行实例终端服务 join by task id join by instance id join by service token join by query id combine log Engine log HDFS audit log combine log agg join by table spark/hive、presto 存储埋点数据 agg by table agg by table HDFS audit log agg uniq query stat

31. 智能化治理实践-任务参数自动优化根据作业的特点，自动推荐最合适的参数 Spark Engine：  shuffle 溢写分裂  shuffle 分级限流  oom 自适应  blacklist 功能优化数据源 Application Aggregaton Application Aggregaton 作业优化设置 Rule Engine：  资源优化规则  Shuffle优化规则  任务读写优化规则作业元信息设置 AppState 引擎规则 AppState 规则引擎引擎API层报警信息报警信息推荐参数预览告警管理收益统计调参设置作业指标健康分 pyspark spark jar spark sql 治理平台

32. 智能化治理实践-其他算法探索

33. 06 总结

34. 总结分布式治理闭环链路平台功能数据赋能资产清晰高效治理高度灵活治理低业务影响规则丰富动线完成收益明确治理分析治理目标治理方案治理实施治理收益治理全景绝对值规划诊断通知催办数据收集健康分分数值治理周期进度跟进收益归属治理大盘目标推荐操作动作收益计算数据资产体系建设治理评估体系建设治理规则体系建设元数据采集模型建设数据挖掘智能化策略沉淀特征构建治理推动者治理实施者

35. 07 未来展望

36. 未来展望行业模版沉淀  行业模版电商、互娱治理模版  治理流程治理驾驶舱、治理运营、治理策略  治理能力原子化行业治理规则、治理操作原子能力流程行业模版开放生态打造大模型能力赋能  接入 - 元数据 - 规则 - 收益  配置治理建议 - 数据团队 - 资产范围 - 运营流程  接出 - 治理方案 - 治理收益 - 治理操作 API Data 元数据沉淀 UI 模型能力建设一键治理 •丰富 •准确 •总结&推断 •SFT 自动治理

37. 关于我们进入火山引擎DataLeap官网进入官方交流群了解更多产品信息获取更多技术干货、活动信息

38.