AI x ⼤前端性能稳定性：快⼿亿级DAU下的智能诊断实践

1. AI x 大前端性能稳定性：快手亿级DAU下的智能诊断实践李锐

2.

3. 你焦虑吗 AI coding + AI debug 完美闭环，程序员会被替代？ Cursor Anthropic ACM Final IMO 100亿美金 1830亿美金满分夺冠金牌水平

4. 性能稳定性视⻆报警事件（年）必解问题（年） AI 能释放多少生产力？工程庞大

5. 个人介绍李锐 • 快手 / 移动端稳定性负责人 • 2019 年加入快手，曾就职阿里、FaceUnity、华为 • 主导快手移动端稳定性「监控拦截」「排障止损」「应急处置」多领域建设 • 喜欢研究操作系统、编译器、虚拟机等底层技术 • KOOM 开源项目作者

7. 快手性能稳定性背景发展历程 | 关键挑战

8. 背景快手稳定性发展历程 2025 ~ 至今 2024 2021 2019 L2 工具平台化 L1 基础可观测性基础可观测自研APM 稳定性问题治理 KOOM/MTE L3 体系化故障防御体系 Ekko/Holmes L4 智能化 AI x 稳定性兼顾成本和效率

9. 背景 2025，性能稳定性仍是大前端的关键挑战业务复杂终端环境复杂技术栈复杂机型特征 JsCore 原生开发 ReactNative 物理环境资源占用技术栈 H5 大前端稳定性运行时 ART KMP KN 系统机制用户操作跨团队协作，迭代速度缓存数据执行不可控，不可穷举 V8 线程模型差异内存模型差异 FFI生命周期触及底层，疑难杂症

10. AI x 性能稳定性介绍分析判断 | 重点建设 | 如何实施

11. AI 带来的机遇 - 分析判断调试推理时间占满系统知识人：成⻓速度专家工程师资源错配工具使用人的要求事：程序质量无法胜任经验积累普通工程师判断 AI x 性能稳定性：团队产出放大器，反哺性能稳定性提升

12. AI 带来的机遇 - 稳定性体系化建设现状拦截左移开发技术体系测试准入应急处置监控排障灰度监控报警排障归因止损技术方案评审自测联调 Mulan 流水线发版灰度 Keep看板 OnCall值周问题分配分级触达分级报警 Katrix SOP AB/Kswitch 归因安全模式稳定性编码规范 QA回测静态扫描自定义灰度厂商合作 AB 巡检日志分析路径追踪分场景报警信息同步 Kconf归因安全气垫 CodeReview 单元测试自动化实验室崩停监控客诉舆情防劣化检测系统领域知识业务领域知识自定义报警决策机制运营平台归因线上修复 IDE检查自动化测试核心链路加固数据监控 VIP监控 KeepHelper 调试工具异常现场还原预警机制⻆色分工端上重点事件版本增发运营体系运营管理体系处置稳定性文化建设故障演练管理体系活动保障目标管理变更管控 OnCall管理复盘管理稳定性负责人稳定性专家小组演练平台 FT 常态演练机制活动保障SOP 准出红线故障定级标准窗口期管控值班安排重视复盘稳定性作战室稳定性复盘会预案管理故障处置打分上下游协同机制内测/公测规范奖惩机制分级发布决策机制 TODO管理 AI 发力点如何聚焦？

13. AI 带来的机遇 - 重点建设领域根因排障处置 AI辅助 ↓ AI代替疑难处置核心问题简单处置核心问题流程拆解流程拆解核心问题：复杂偶发问题，需要知识积累，强依赖专家经验，修复速度慢。研究假设学习问题调试验证执行修复核心问题：简单问题重复发生，有“固定套路”，研发时间投入在重复性事务中。旧解决方案检索问题识别核心问题修复代码编写流水线合入核心问题：复杂多维度数据分析，排障线索分散，影响故障处置⻩金时间。故障应急处置 (AI加速) 故障响应故障处理故障分析流程拆解告警接手拉群处置指标关联归因变更归因问题归因处置决策处置执行

14. 如何实施：性能稳定性 Agent 架构介绍 Agent 业务层根因修复 Agent 故障止损 Agent 指标巡检 Agent Agent 产品层 KIM 报告 MR 修复多轮对话 Agent 编排 Agent 框架层链式编排 Agent 策略图编排人机协作服务基建层 Think tool Gemini CLI 多模态 Keep 平台 MCP 结构化输出工具调用源码 MCP Metric 日志产品形态 Claude Code 技术选型 Codex 工具深度思考流式/结构化响应业务场景基于 CLI 的 Agent Plan And Execute LLM Agent 基建层 ReAct 等等… 上下文 Kim MCP 基准评测上下文注入知识增强短期记忆⻓期记忆成本统计 AI 基建后端基建

15. 实践：AI 辅助根因排障排障本质 | Holmes | 火焰图

16. AI 辅助根因排障：从一例 NPE 谈起案例：NPE 问题都很简单？问题难度 ⭐⭐⭐⭐⭐ • 堆栈特征：纯系统堆栈崩溃，没有一行业务代码逻辑。 • 现场缺失：触发NPE滞后，无异步更新UI的第一现场。 • 复现困难：在特殊场景下概率性触发，线下调试困难。 • 历史频发：影响活动放量。活动发布，屡次出现

17. AI 辅助根因排障 ❓ 2025，AI 能秒掉这个 NPE 问题吗

18. AI 辅助根因排障：调研数据 Ø 96%认为在日常崩溃排障中存在痛点； Ø 69%认为崩溃现场信息过少，偶现问题无法复现，问题无法排查； Ø 50%认为日志过多，无法快速找到问题关联日志，问题无法排查。 * 调研方法：问卷 96% 69% 50% 存在痛点信息过少日志过多样本量：80 调研时间：25/09 • 软件开发者花费35-50%的时间在验证和调试软件上，调试、测试和验证的成本估计占软件开发项目总预算的50-75% 来源：ACM Queue - The Debugging Mindset (2017)

19. AI 时代编程范式（性能稳定性视⻆） Talk is cheap, show me the code. 核心复杂度 Code is cheap, show me the fix (bugfree).

20. AI 辅助根因排障：排障本质 & AI 能力分析 ra · 数 cs / t 察 tr ①观 / me i 怀疑 · 候 / 排选原查方因向观察 → 假设 → 验证模型能力上限垂直工具使用解决方案 2 验证假设 3 提出假设 4 问题总结验实行 · 执境验环行 ④实执模型能力胜任度 ④ ⑤ 证据 · 结 :缩果小范分析围 AI薄弱区：人机协同 ③ ⑤结果 1 排障核心循环 AI擅⻓区：激发引导专家经验 s log ②假原因设集 s 据收 c e ①② AI 瓶颈区：分治规避推理深度、上下文⻓度、模型幻觉参考：MIT 6.031 课程-debugging https://web.mit.edu/6.031/www/ fa17/classes/13-debugging/

21. AI 辅助根因排障：破案 vs. 排障 🔍 破案（侦查） • 分析线索：物证、指纹、证人陈述 • 推测动机：犯罪意图、作案方式 • 给出嫌疑犯：潜在的犯罪者 🧑💻‍ 排障（debug） • 分析线索：代码、日志、堆栈、反馈 • 推测动机：程序原意、执行偏差、异常 • 给出嫌疑犯：潜在的Bug引入者共同点：逆向推理的认知活动

22. AI 辅助根因排障：Holmes 介绍 T 问题排障 Troubleshooting = O 可观测信息 Observability + D 日志、堆栈静运行静态信息 Debuggability debugger 动 profiler Holmes 排障工具 Tombstone 可调试信息 Coredump Hprof/MemoryGraph UI视图程序动态追踪 JVM TI ebpf 远程切面

23. AI 辅助根因排障：Holmes UI 视图截图 View Tree Touch Event Holmes UI 视图逆向推理还原点击

24. AI 辅助根因排障：Holmes UI 视图 ViewTree 元信息 Holmes UI视图视图移除 Layout info ViewFlags RecreateDisplayList dispatchXXX remove Pressed Visibility res-id View remove text Fresco res Lottie res Background View Depth Touch Target Alpha Scroll info Provide API Activty/Fragment 元信息 Activity Recycle Fragment LifeCycle Bitmap double Recycle TouchEvent 元信息 Touch事件响应记录 Touch 轨迹记录

25. AI 辅助根因排障 ❓ 这么多信息，记不过来？

26. AI x 根因排障：如何实施故障概览信息Agent 例：UI崩溃排障Agent 提示词（概括）提示词（概括）通过 MCP 工具，汇总排障信息（排障需要的基础上下文汇总) 意图识别 Agent 1. 使用 MCP 工具获取 UI 日志 2. 注意分析日志中的 UI 层次 3. 根据日志和代码给出问题修复 diff Keep 平台 MCP 获取崩溃&UI日志产品平台版本故障类型版本类型基准版本崩溃堆栈基于排障经验规则匹配空指针崩溃 Agent 读取相关代码 ReAct 修改建议问题分析生成报告 & diff 源码 MCP Holmes 视图源码 MCP 基准分支崩溃上下文代码分析故障上下文定位问题根因堆栈行类型 MR提交 Agent 问题分支崩溃上下文代码状态异常崩溃 Agent grep 查找并发修改崩溃 Agent UI 崩溃 Agent 读目录读文件 git blame MVPS 崩溃 Agent … Agent

27. 实践出真知 “Without the experience of actually doing it, you never get three dimensional.” 不实干，学到的永远只是皮毛。来源：乔布斯 1992 年 MIT 演讲

28. AI x 根因排障：如何提升准确率上下文信息不完备（欠定）模型输入达成目标信息不足目标过于抽象/太大高熵/随机采样输出：模糊/幻觉/不确定解注意力稀释/误导输出：偏题/被误导的解低熵/逻辑推理输出：确定性解上下文噪声污染低信噪比（超定）模型输入多职责/目标无关信息过多上下文信息完备高信噪比（适定）模型输入单一职责直接相关信息 Few-shot 量化标准

29. AI x 根因排障：效果展示 AI 助手意图识别 AI 问题排查建议 AI 问题修复自动提交

30. AI x 根因排障：性能分析利器 - 火焰图基于采样类火焰图（Sample） Perf 资源：CPU/内存/IO 基于追踪类火焰图（Trace） Perfetto：atrace 应用事件 / ftrace 内核事件 *注：实际Perffetto也支持采样类数据，如heapprofd

31. AI x 根因排障：人工火焰图痛点拿到火焰图文件开始分析寻找疑似问题分析结束代码优化学习相关知识： Perfetto用法是问题？业务逻辑了解客户端底层知识 ... 否反复确认分析是分析问题分析⻔槛高代码验证效率低容易遗漏需求上线

32. AI x 根因排障：火焰图原理架构关键思路 • 数据预处理分析 • 源码关联分析

33. AI x 火焰图：效果展示典型性能问题 • 主线程耗时 • 频繁调用 • GC • 锁竞争

34. 实践：AI 加速应急处置止损工具 | Ekko | 效果分析

35. AI 加速故障应急处置案例：iOS 26 你的 property 崩了吗？影响几十个旧App版本，如何快速止损 * 官方文档：https://developer.apple.com/documentation/xcode-release-notes/xcode-26-release-note

36. AI 加速故障应急处置止损工具的痛点变更回滚商店更新覆盖率低，用户流失⻛险。依赖归因成功率，且外部变更变更不可回滚，活动特性发布类不可回滚。核心：时效性要求高，不能依赖根因定位根因修复时效性差，需先定位问题根因，发布流程⻓，性能损耗。

37. AI 加速故障应急处置 Ekko ：修改程序执行流兜底前执行流：兜底后执行流： … … … … … … 崩溃流程阻断改变执行流错误引入 💥 … … 全部流程终止 … … Ekko: 让程序运行也能有R技能，时光倒流，恢复正常状态跳过 🧯

38. 故障应急体系建设 Ekko 崩溃阻断：覆盖所有崩溃类型 NSException C++ Exception Mach libobjc提供的 exception_preprocessor 主可执行文件的 personality routine 基于 task exception port 应答，请求恢复崩溃线程的执行。 funcA funcA exception port funcB NSException funcB C++ Exception funcC preprocessor funcC __cxa_throw 异常预处理方法 App XNU 内核 __gxx_personality_v0 * 注意：iOS sinkhole异常陷阱机制

39. 故障应急体系建设 Ekko 崩溃恢复：类型无关通用性强核心流程异常发生之后，App 闪退之前，通过动态修改程序执行流返回至上层函数后继续向下执行。实现原理 Context (Callee-Saved Registers) Address (PC LR) 基础：stack unwind 基于寄存器存储映射关系重建 context fp unwind 地址恢复：计算并修改目标兜底函数的 PC LR 上下文重建：恢复兜底函数的 callee-saved registers 以及“伪造”正在等待 callee 的返回值技术挑战 PAC签名；异步 stack unwind; 兼容 unwind info 缺失计算跳转地址 PAC 地址签名扩展：异步 unwind 扩展系统 stack unwind 终极：运行时解析自研反汇编器，兼容 unwind info缺失场景

40. AI 加速故障应急处置：安全气垫发布 1.兜底决策 AI 加速配置决策 2.生成配置 3.1白名单 3.2审核 3.3灰度 AI 加速流水线发布 3.4全量 4.数据观测

41. AI 加速故障应急处置案例：突发黑天鹅事件，原因竟是… ** ** ** ** ** ** ** ** ** ** *万级崩溃，肾上腺素飙升，问题迟迟得不到止损

42. AI x 应急处置：分析判断收变更归因建集议建议指挥人建议代码分析集收 Keep分析负责人集收收集建议变更归因负责人代码分析负责人收集故障处置 Agent 收议建建议 xx归因集日志分析负责人变更归因依赖人工驱动，易错易漏 xx分析日志分析 AI 驱动

43. AI x 应急处置：Agent 流程编排故障分析意图识别 Message 故障分析概览 Agent 故障分析 Agent 业务维度特征 Agent 源码分析 Agent 根因结论生成 Agent 确认/取消 … 线上报警 Callback 故障止损故障止损概览 Agent 气垫配置分析 Agent 气垫配置生成 Agent

44. AI x 应急处置：效果展示故障触发应急处置 Checklist 异常识别根因推理应急处置多维度信息诊断排障建议人机协同

45. 总结展望 Agent 开发 | 人机协同

46. AI x 性能稳定性：Agent 开发感悟识别瓶颈思维切换 Thinking in LLM • 概率自回归 vs. 图灵机 • 能力边界，擅⻓区、薄弱区、瓶颈区；什么时候用模型、什么时候用代码程序、什么时候用工具释放模型天花板 • • 提示词无法提升模型认知上限（权重无变化），但是好的提示词可以激发模型表现模型推理深度有限，提前基于专家知识做好步骤拆解认识重要性评测体系 = 上下文工程 • • 调试：提示词 vs. 调试程序合理设计架构，降低Agent能力回归评估成本（时间、钱）

47. AI 展望：回顾最初的焦虑冷静：正确认识 AI，不神话乐观：积极拥抱 AI，不错过浪潮视频来源：Linus Torvalds, Creator of Linux & Git, in Conversation with Dirk Hohndel, Head of the Open Source Program Office, Verizon

48. AI x 性能稳定性展望：人机协同人类弱化人类强化思考力生产力释放 • • “体力型”排障 “死记硬背型”排障 • • • 辨别因果、验证结果系统性思考、创造性实验深度业务理解、战略决策 Human in/on the Loop，人类不可或缺星辰大海，刚刚启航

49. THANKS 大模型正在重新定义软件 Large Language Model Is Redefining The Software