字节跳动数据平台的实践与演进

1. 字节跳动数据平台的实践与演进罗旋字节跳动数据平台负责人

2.

3. 字节跳动业务概况 • 2012 2013 今日头条上线日活超100w 2014 2015 日活超1,000w 首届头条号头条号平台上线创作者大会 2016 2017 抖音短视频上线 2018 ⻜书1.0版本上线抖音日活突破1亿 2019 剪映上线 2020 推出 “火山引擎” 2021 抖音日活突破6亿 • 火山小视频上线懂⻋帝上线收购faceu激萌（后为抖音火山版）上线头条视频（后升级为⻄瓜视频）轻颜相机上线皮皮虾上线番茄小说上线幸福里发布收购PICO

4. 字节跳动数据平台服务对象 • 字节跳动各业务 • 解决方案 • 数据BP • 热点宝 • • • • 中台能力⻛神 (敏捷BI) • • (企业管理看板) (业务数据中心) 数据应用管理驾驶舱 • TEA • Mirror (行为洞察分析) (用户数据平台) • Gaia 安全合规 • • SaaS Libra • 增⻓营销 GMP • A/B实验 DataTester • 行为分析 DataFinder • 智能洞察 Datawind 用户数据平台 VeCDP (数据⻔户) （A/B实验平台）大数据研发治理套件 DataLeap • 数据建设 • • • 产品解决方案 • • • 各行业客户数据引擎 • 一站式数据开发治理 Dataleap OLAP引擎 Bytehouse 湖仓一体 LAS • PaaS OLAP引擎 ByteHouse • • 云原生开源大数据平台 E-MapReduce（EMR） • 湖仓一体分析服务 LakeHouse Analytics Service（LAS）

5. 一道选择题一家公司，数据体系要怎么搭建？ A. 整体规划，系统架构驱动 B. 问题出发，业务价值驱动

6. 字节跳动数据平台发展历程能力封装 ToB输出 • • 构建产品引擎加速 • • • A/B测试快速迭代 • 一个hive+邮件报表 • AB迅速验证业务随时上线 • • 构建升级引擎支持业务迸发 • 自建面向应用的数据分析产品取代商业产品 • 平台成型 BP服务 • 技术底层持续升级 • 产品矩阵不断扩大 • BP模式面向业务提供方案 • • 沉淀能力封装经验 • 面向外部企业提供整套解决方案 • 原始阶段（~2014） • 建设阶段（2015~2017） • 平台阶段（2018~2019） • 赋能阶段（2020~） • 今日头条DAU达千万 • 头条日活已是亿级 • 多元业务层出不穷 • C端持续发展 • 抖音推出迅速爆发 • 多个亿级DAU产品 • B端对外赋能

7. 不同阶段面临的挑战 • 原始阶段：业务随时迭代上线，如何快速验证？ • 建设阶段：数据量膨胀，时效和质量怎么保障？ • 平台阶段：多元创新业务爆发，怎么敏捷支持？ • ToB服务：字节跳动的沉淀，其他企业怎么用？

8. 不同阶段面临的挑战 • 原始阶段：业务随时迭代上线，如何快速验证？ • 建设阶段：数据量膨胀，时效和质量怎么保障？ • 平台阶段：多元创新业务爆发，怎么敏捷支持？ • ToB服务：字节跳动的沉淀，其他企业怎么用？

9. “今日头条”的迭代速度 2014.06.27 2014.07.11 2014.08.08 2014.09.05 2014.09.19 V3.5.2 V3.5.4 V3.5.6 V3.6.1 V3.6.3 视频加载优化，观看更流畅视频加载优化，更省流量搜索优化，新增搜索建议和历史显示修复部分机型上无法返回问题推荐内容更丰富新增阅读优化新增毕业生频道优化阅读体验 2014.06.23 2014.07.04 2014.07.19 2014.08.25 2014.09.12 V3.5.1 V3.5.3 V3.5.5 V3.6.0 V3.6.2 全新的个人主⻚和消息通知机制 Bug修复，资讯不卡壳界面细节优化动态改进性能优化可手机登录注册记住搜索记录

10. A/B测试的三段演进工具 • 始于2012，用A/B测试协助决策 • “今日头条”命名来自A/B测试 A/B测试平台重构，正式定名“Libra” 构建第一个较为完 • 整的A/B测试平台分流服务、平台⻔ • 户、数据建设三块功能基本成型支撑推荐算法迭代完成第一版客户端 • 实验能力建设 • • • 提升效率和场景覆盖，ToB提供服务测试总数150w，日新增实验2000+ 测试总数从1w升到10w • • • 解决方案产品广告场景接入推送场景接入 • 互娱社区接入 • 搜索业务接入 Interleaving实验 • 方案上线 • 访问高涨，分流服务 • 重构，资源占用降 67%，延迟缩80% 基于曝光逻辑的客 • 户端实验方案正式上线 • • 直播业务接入电商业务接入 • 指标平台 • 运营类场景高效支持 • • • 自动调参平台客户端配置中心 • MAB能力上线

11. 不同阶段面临的挑战 • 原始阶段：业务随时迭代上线，如何快速验证？ • 建设阶段：数据量膨胀，时效和质量怎么保障？ • 平台阶段：多元创新业务爆发，怎么敏捷支持？ • ToB服务：字节跳动的沉淀，其他企业怎么用？

12. 指数级膨胀的数据量 2016，日处理200TB 2021，日处理1500PB

13. 发力引擎层建设 OLAP引擎的技术选型： Kylin Spark 响应快模式灵活预聚合响应不够快灵活不足 ClickHouse 超高性能基于明细灵活自主

14. 引擎持续迭代 ClickHouse在字节跳动的演进路线：时间 2018~2019 2019~2020 2020~2021 阶段高性能引擎统一数据分析架构云原生版本ByteHouse 高可用&强性能复用基础设施，具备扩展性快速搭建各种面向场景的应用提升资源利用率降低运维成本场景广告业务用户增⻓用户画像 AB测试算法模型分析实时数仓能力高可用引擎稳定性优化运维能力增强 BitmapEngine Unique引擎冷热数据分离容器化部署存储和计算分离多级资源隔离重点

15. ByteHouse的核心能力 • 01 02 03 04 真·实时分析存储-计算分离多级资源隔离 OLAPaaS 支持实时数据写入和更新，实现 • 计算层弹性伸缩，分布式存储极致time-to-insight 节点总数超 2.5万个单集群最大规模 • 针对不同租户支持数据、 • 云上全托管服务，随时启资源、权限等多级资源隔停，即付即用（Pay-as- 离 you-go） 2400个节点支持字节跳动 80% 分析应用

16. 不同阶段面临的挑战 • 原始阶段：业务随时迭代上线，如何快速验证？ • 建设阶段：数据量膨胀，时效和质量怎么保障？ • 平台阶段：多元创新业务爆发，怎么敏捷支持？ • ToB服务：字节跳动的沉淀，其他企业怎么用？

17. 业务多元数据异构问题一：今日头条抖音抖音火山版⻄瓜视频懂⻋帝住小帮幸福里敏捷支持问题二：皮皮虾⻜书火山引擎 Faceu激萌剪映轻颜相机番茄小说污染治理

18. 数据BP+中台：“中央厨房”式的协作 •

19. 一个Case 三周完成数据接入数据中台体系产品即插即用从专人开发报表到产品化支持

20. 数据BP的价值评估体系 0 0个数据事故 9 8 90%需求满足 80%分析覆盖 7 70%NPS

21. 数据治理实践总结业务第一 • • 成本优化 • • 稳定建设 • • 要点 • • • 数据安全数据质量

22. 数据治理的发展路径 • 运动式 • 分布式 • Top->Down • 业务自治 • 项目形式集中统一治理 • 沉淀系统，常态化治理 • 不够灵活，成本高 • 敏捷高效

23. 分布式治理的核心高效的组织模式最小的业务打扰最高的执行效率轻量的治理委员会业务自治，确认目标专家知识、智能化自下而上，人人参与各模块可独立使用经验的传承和协同

24. 以稳定性SLA为例，解决最核心的链路稳定问题按需申报根据业务实际发展状况和实际需求，自发自驱进行申报高效对⻬通过算法对生产链路进行分析，⻓链路任务也能快速对⻬目标全链路保障从签署到复盘闭环到产品中，签署完成后进行系统级保障

25. 不同阶段面临的挑战 • 原始阶段：业务随时迭代上线，如何快速验证？ • 建设阶段：数据量膨胀，时效和质量怎么保障？ • 平台阶段：多元创新业务爆发，怎么敏捷支持？ • ToB服务：字节跳动的沉淀，外部企业怎么用？

26. 企业经常提的问题我没有字节那么大体量的数据，我是不是用不上那么高要求的工具？你们的人才密度要比我们公司大，产品我们的人不会用啊！我的业务很单一，我为什么要中台？产品那么贵，还不如我直接招几个程序员来的方便！你们字节的经验，我们要怎么用？

27. 正在努力的几个解法 • 统一化 • 平⺠化 • 场景化

28. 场景化Case：A/B测试 • • 广告营销实验投放多素材对比实验 DMP 投放实验 • 可视化建站实验 • 着陆⻚UI⻛格实验无需研发，可视化提升广告ROI和ARPU • • 配置和编辑⻚面元素 • • 多链接网⻚实验多个活动⻚/着陆⻚效果对比实验同一入口不同跳转URL • • 客户端编程实验前端UI交互优化、功能迭 • 代、⻚面布局等实验支持iOS、Android、 • Web等多端 • 服务端编程实验 • • 个性化推送实验算法模型优化实验促活提留的push推送策 • 略实验，提升活动收益率支持Java、Python、支持极光、个性化推荐后端策略优化、 • Go、PHP等多语言 • W e b h o o k 、 F C M 、 APNs等渠道

29. 未来方向开放兼容智能应用

30. 更多内容获取，可关注：

31.

32.