重塑可观测边界：小红书在大模型时代的稳定性工程实践

1. 重塑可观测边界：

2.

3. 录 03 04 01 红书可观测现状以及 AI 时代临的挑战 AI Infra 可观测：向训推服务的稳定性体系建设向稳定性提效的 AI Agent 场景建设与探索未来规划

4. 红书可观测现状以及 AI 时代临的挑战 01

5. 红书可观测体系在稳定性

6. 红书可观测在 AI 时代的变化运为变化表达式变化可观测边界变化 GPU 集群模型训练/推理 Agent

7. 红书可观测在 AI 时代临的挑战故障放效应

8. 为什么需要 AI 可观测 • AI 训练稳定性管理已经成为智能时代的精密模，整个任务会发 • 基础设施交付和运程，尤其是在千卡甚各种故障，导致资源利率不 • AI 应需兼顾可性、性能与效果体验的多重质量昂的成本使得业务对常的要求。标，使得业务连续性保障挑战。更或任务中断。中的质量保障是稳定性基础，GPU GPU 交付质量、节点故障感知、处置时效性都要万卡以上规临

9. 02 AI Infra 可观测：向训推服务的稳定性建设

10. 业务痛点故障率环境异构挑战故障发现与定位难

11. 训练任务痛点问题分析

12. 整体建设思路

13. 2-1 GPU 资源稳定性保障

14. GPU 故障等级定义

15. GPU 稳定运营与故障感知场景整体异常分析 GPU 可性 SLO 多维异常度量撑单节点问题排障节点/GPU 可性状态单卡诊断/监控下钻

16. GPU 节点愈愈流程

17. GPU 观测落地成果与最佳实践提供 GPU 全局监控能以及单机故障诊断能，持 20+ 故障指标识别，可解决 80%+ GPU 硬件故障诊断定位。单节点问题排障整体异常分析

18. 2-2 训练任务 Hang 的发现与故障定位

19. 训练任务发所有任务程序 Hang 可能的表现志不输出进程调指标突变并持续维持某个状态栈不再变化

20. 问题分析与设计思路设计的依据：NCCL 和矩阵乘是分布式训练的核点构建相关核操作，以此为锚指标统计，不仅可以实现较精确的 Hang 检测，且可以有效辅助故障定位和性能分析。判定 Hang 的核思路：对矩阵计算、NCCL 调等核函数进 Hook 拦截，监控对应的操作记录；当事件超过指定的超时时间未拿到返回结果，判断为 Hang。

21. 整体技术

22. 故障定位的核思路（基础场景）故障表现： • 受影响节点：表现基本致 • 故障节点：与其他节点有明显表现差异通过对差异快速定位故障源头

23. 进程栈采集与聚合栈聚合栈采集 • 相同前缀、线程名聚合只要有触发个 rank hang，认为这个训练任务 hang 住，次 stack dump • 寻找分叉点

24. 故障定位的核思路（复杂场景）故障源头 rank 和其他 rank，在 NCCL 的通信状态上有差异

25. NCCL 络通信故障的定位与拓扑还原 Send: posted->transmitted->done Rev: done<-transmitted<-Received<-posted

26. 业务实战案例分享：监控指标 NCCL 通信指标训练总览基础指标矩阵乘指标

27. 业务实战案例分享：智能诊断报告诊断报告栈分析

28. 业务实战案例分享：NCCL ring tree 络通信故障定位

29. 向稳定性提效的 AI Agent 场景建设与探索

30. 从可观测 AI 助开始数据分析&根因诊断最佳实践 Workflow 业务定义场景

31. 产品定位与

32. 稳定性 AI 图

33. 模型的优势与劣势（现阶段）模型不适合做什么精确计算任务数据量处理多维聚合与下钻户友好的可视化表达

34. 基建度：需要解决的核 • 原始数据量，模型缺乏问题效的数据处理能，如可观测领域法提供很好的户友好的可视化解释能，式以及具动 • 缺少的记忆管理能 • 缺乏对数据上下 • 跨团队之间的数据交互问题，各团队 Agent 建设处于百花放的阶段由对话效果

35. 传统 AIOps 的故障定位能准确率和效率扩展性有限专家经验局限性、可控性强法复可解释性和户交互不友好

36. 模型和 AI 时代在 OPS 向带来的改变构建智能运维核成式 AI 改善产品交互提升产品易性和多样性模型+LLM+Agent 增强产品竞争

37. 智能诊断底座传统 AI 分析与 LLM 深度结合灵活可插拔的可复具调能的智能诊断 Agent 赋能多个技术平台产品

38. Agent 协议“三剑客” AG-UI：Agent 与户沟通的桥梁 A2A：Agent 之间沟通协作的标准 MCP：Agent 调外部具的标准

39. Multi Agent 技术架构设计中央集权分层委派分治之模块化管理

40. 多层次记忆模块设计在于信息价值的最期知识化历史摘要

41. Flow Engineering • 复杂任务：拆解，LLM + function 组合，推荐 LangGraph • 模型在个受控的、多步骤的流程性“ 作，不是箱”输出 • 简单任务：配置件， write prompt，not code • prompt 按场景抽象可复模板次

42. 交互与输出范式具调展示 ……

43. 业务提效赋能：AI 分身作助技能

44. 最佳实践分享：险治理险运营险单分析

45. 最佳实践分享：诊断分析服务诊断分析异常告警根因分析

46. 最佳实践分享：AI 分身作志

47. 未来规划 RL + Observability Observability for RL 为与轨迹观测尾 Request 分析分布式 Profiling RL for Observability 双向赋能智能告警异常检测（专家规则）时序理解与推理

48. 未来规划 AI 时代 Ops 新的范式会出现个性化运维运维智能化全域数据专家算法险模型智能决策

49.

50. THANKS 模型正在重新定义软件 Large Language Model Is Redefining The Software