快手大时长应用可观测挑战及应对实践

1. 快时应及应对实践演讲 /移动端数据架构负责快：王辉可观测挑战

2. 个介绍王辉 • 快 / 移动端数据架构负责 • 团队主要负责快 • 在互联的埋点体系、研发数仓等可观测基础设施业从事开发作多年，开发过前端、后端、客户端、据，也带过业务、架构等不同类型的团队数

3.

4. 录 01 路径带来的挑战总结与展望

5. 超 01 路径带来的挑战时 ÷ 短内容 = 超路径

6. 背景：挖掘于变更，

7. ① 流量归因问题案例：电商希望能看到精确流量路径、流量来源，需要推动全站基建客户：产品经理、分析师问题洞察精确描述户路径万亿级数据量避免关联是否可以动化、平台化降低埋点成本

8. ② 算法归因问题案例：搜索为将策略信息100%透传到所有下游叶结点，需要推动全站基建客户：推荐算法问题洞察策略需要统标准需要兼容多策略需要SDK来保证正确性

9. ② 算法归因问题案例：算法架构团队希望不再被埋点block实验客户：推荐算法问题洞察要100%覆盖存量、增量策略参数要有扩展弹性全链路要打通后端临 M*N 复杂度是否可以动化实时性与成本的平衡

10. ③ 故障归因问题案例：未能及时定位的变更故障，影响持续上升客户：客户端开发问题洞察损效率取决于定位效率变更导致故障占变更数据、故障数据如何关联？

11. 整体解题思路套完整的打法来保障落地效果。Todo：如何解决？先框架，再逐个击破

12. 02 可观测体系构建组织、规范、流程 + 平台化

13. 组织规范建设规范有卡跨组织协同质量&稳定性技术案评审动化校验故障处置机制

14. 平台化建设通过端到端平台建设，实现全链路联动、埋点需求、验收流程标准化流量数仓实时特征规范/管理助埋点统流量拆分模型全站特征加动化校验统透传机制实验体系模型算法实验数据管线路径数据校验基础流量监控全站流量分发校准基础质量监控流量栈模型埋点SDK 品产埋点平台助化。 PB规范管理路径埋点动化、构端架流量数仓量流构架实时特征平台法算构架

15. 03 路径归因实践流量、算法、稳定性三个领域的归因架构探索

16. ① 流量归因：

17. ① 流量归因：染要点 • 原理：通过志对埋点进交叉验证 • 端上质检SDK • 2M mmap存储精简路径还原、检测 • 可配置场景进志（URT）质量检测机制

18. ② 算法归因：内容策略（STID）通道规范规范）

19. ② 算法归因：内容策略（STID）通道与效率提升要点 • 服务端通过SDK实现内容策略透传 • 客户端SDK与业务联合实现实体参数的动态提取 • 服务端SDK、客户端SDK、 SDK联合升级实现透传能式动态扩展能 • 配置化的极简实时通道络及圈选

20. ③ 故障归因：变更数据链路

21. ③ 故障归因：变更归因架构

22. 04 总结与展望更全、更易

23. 效果 For 客户端排障策略通道（STID）归因平台 • 全公司 • 故障定位个通道，套模型损均值 <10分钟 • 全域流量覆盖率 99% + • 端侧变更归因准召 90%+ • 端到端打通，实验隔 • 后端上线 • Showcase： ‣ 60pd (开发) → 5pd (变更) ‣ 13个团队 → 2个团队客户端归因准召 60%+ • P4+级故障 1 起，P5级 4 起径：变更引起的故障（占盘80%）

24. 实践反思定短板，强假设必不可少（如领域相关度等）。

25.

26. THANKS