货拉拉的智能监控实践

1. 货拉拉的智能监控实践演讲人：柯圣全球敏捷运维峰会广州站

2. 货拉拉的一些情况业务量基于云的多语言、多框架多种业务场景全球敏捷运维峰会广州站

3. 今天讲什么一、AIOps 与智能监控二、货拉拉的智能监控建设框架三、货拉拉的智能监控实践四、总结与展望全球敏捷运维峰会广州站

4. AIOps 与智能监控：几个名词智能监控 AIOps 智能运维 Observability 可观测性 Monitoring 监控 Observability Monitoring 全球敏捷运维峰会广州站 AIOPs

5. 监控领域大图业务功能观测报警应急处理日常运营数据要素 (MELT) 日志 Log 链路 Trace 指标 Metric 事件 Event 人员与组织研发 + 运维安全生产团队稳定性团队老板特性要求准确 + 及时自动 + 高效动态 + 灵活开放 + 稳定全球敏捷运维峰会广州站

6. 监控要解决什么问题？系统有没有问题? 系统哪有问题? 应用研发团队运维团队系统有什么问题? 智能稳定性团队系统稳定性全球敏捷运维峰会广州站老板

7. 货拉拉的智能监控建设框架数据技术 “MELT” Metrics Log Event Trace 时间维度上历史数据实时数据其他数据依赖应用元数据应用依赖数据应用标签数据机器资源、云…… 功能收益 ` 可视化与集成研发提效统一化监控平台开放监控数据第三方平台集成报警分析降噪聚合变更关联趋势预测异常检测关联检测知识图谱拓扑展示知识生成自然语言处理文本提取文本聚合自动故障修复自动健康检测数据可视化变更后检测故障可视化配置简单化根因分析故障聚合应急处理关联定位操作建议提示报警自动化排障自动化依赖分析高危变更提醒核心链路生成报警模板应用详情问答报警运营 …… 全球敏捷运维峰会广州站日常运营资源数据化效能数据化业务拓扑可视化

8. 今天讲什么一、AIOps 与智能监控二、货拉拉的智能监控建设框架三、货拉拉的智能监控实践四、总结与展望全球敏捷运维峰会广州站

9. 货拉拉的智能监控平台：Monitor 平台能力指标监控应用监控中间件监控端上监控 HTTP, SOA, Exception, JVM, MySQL, HBase, Kafka Kong, Gateway, DAL, Consul, Config Server Device, Version,Network, Error 机器监控云平台监控容器监控 CPU, Memory, Load, Disk IO, Net IO,TCP Ali Cloud Pod, Istio 链路监控主流框架、中间件日志监控应用日志报警通用报警报警触达报警分发云平台报警阈值，同环比，数据缺失，动态阈值电话，短信，邮件，飞书， PagerDuty 自定义报警组、应用绑定，团队绑定条件分发运维事件平台推送用户使用 HttpClient, OkHttp,Tomcat, Easyopen, MySQL, MyBatis,Kafka Client, AMQP, Spring Kakfa, Spring AMQP, Rabbit Trace, ES, Mongo, Hbase,… 访问日志容器日志开放所有监控数据 All-in-one 的一站式平台 UI 业务大盘，应用大盘，中间件大盘，链路查看，日志查看报警配置与查看报警运营全局实时看板 HTTP Trace SOA Trace 多平台 PC 飞书移动设备全球敏捷运维峰会广州站 Open API 指标、监控、日志、报警、拓扑依赖……

10. 货拉拉的智能监控平台：Monitor 一览业务大盘应用大盘全球敏捷运维峰会广州站

11. 货拉拉的智能监控平台：Monitor 一览调用链路全球敏捷运维峰会广州站链路拓扑

12. 货拉拉的智能监控平台：Monitor 一览报警配置与处理全球敏捷运维峰会广州站移动版

13. 货拉拉的智能监控平台：Monitor 的一些数字 Metric 7T 1.45 万亿总数据量 Trace Log Alert 其他总数据点 23 T 70 万每日新增数据 150 T 峰值TQS 300 万条每日新增数据每日峰值写入QPS 7000 + 25000 + 自定义报警规则每日各渠道触达次数 600 + 每日UV 2.8 万 200 + 监控实例查询API QPS 全球敏捷运维峰会广州站

14. 货拉拉的智能监控平台：Monitor 背后的系统架构 Prometheus Client 推送采集采集查询 Victoriametrics Prometheu s Transformation 查询 vm-proxy 更新报警配置应用侧写入 Trace SDK 字节码注入查询储存索引转运 Log Filebeat Trace API Alert Graph DB HBase 储存原数据消费写入 LogStash AIOps API Consumer Elasticsearch 采集 Alert API 消费 Kafka Trace Service UI 推送报警 vm-alert 上报 Metrics API Consumer Kafka 查询 Elasticsearch 全球敏捷运维峰会广州站 Log API Monitoring Data 监控平台

15. 货拉拉的智能监控举例：统一的平台，流畅的排障体验报警指标链路日志核心业务指标：下降 15% App: order.pay Metric: soa.rt Value: timeout 下游依赖： commission.svc Config server: 报警触发报警上关联服务名与指标名以指标查询链路 Invalid key “biz.ratio” 以 TraceId 查询相关日志指标中 Label 与 Trace 的 Endpoint 对应全球敏捷运维峰会广州站变更操作变更： 5 分钟内更新了配置人工判断变更处理：回滚配置人工执行解决措施

16. 智能监控的建设框架：智能的报警（集成与应用）线上故障报警核心业务指标：下降 15% 飞书中自动分析报警应用自身可能原因检测变更上下游分析健康检测全球敏捷运维峰会广州站变更？下游？中间件？缓存？DB？建议操作建议

17. 智能监控的建设框架：智能的报警（报警规则）自动的报警模板 QPS, RT Exception Http, SOA type JVM Infra 平滑算法机器学习 Arima, ewma, Holt-winter xgboost 按间隔按报警类型聚合 GC, Thread, Heap 自适应的阈值 CPU, MEM, DB, Redis, … 开发中聚合、降噪抑制按应用聚合全球敏捷运维峰会广州站

18. 智能监控的建设框架：智能的报警（报警规则）规则层全局模版自定义模版自定义规则算法模型库查询层指标查询元数据查询算法层平滑算法无阈值检测算法数据缓存样本库训练器波动算法插值算法算法中心基础层降噪静默消息发送审计全球敏捷运维峰会广州站

19. 货拉拉的智能监控举例：关键业务链路的拓扑展示与分析应用的本体设计全球敏捷运维峰会广州站

20. 货拉拉的智能监控举例：关键业务链路的拓扑展示与分析部门与应用关系人员与应用关系全球敏捷运维峰会广州站应用调用依赖

21. 货拉拉的智能监控举例：关键业务链路的拓扑展示与分析应用拓扑图全球敏捷运维峰会广州站核心业务拓扑图

22. 总结与展望：稳定性成果监控覆盖故障响应 (5/20/25) 100% 100% （核心应用）监控（核心应用）报警覆盖率覆盖率 99.98% 100% 服务可用性 5 分钟内发现 89% 20 分钟内定位全球敏捷运维峰会广州站 78% 25 分钟内止损

23. 货拉拉的智能监控举例：经验与反思制定埋点规范、预留扩展性。面向用户使用场景，屏蔽底层细节，简化配置。文档与说明，提供排查工具。价值与收益导向，合理取舍。全球敏捷运维峰会广州站

24. 今天讲什么一、AIOps 与智能监控二、货拉拉的智能监控建设框架三、货拉拉的智能监控实践四、总结与展望全球敏捷运维峰会广州站

25. 总结与展望：监控领域的规划监控建设战略选择基于开源与云产品，构建基本监控体系，服务业务快速发展监控架构研发/ 运维团队云厂商大厂（未来）中厂（现在）小厂（过去）拥抱开源业界，关键产品自研，形成特色监控体系和完整产品 Grafana ELK Prometheus Skywalking Cloud 研发部门运维/ SRE Monitoring Platform TSDB Trace Log AIOps 深挖底层基础，核心产品自研，形成独特竞争力研发中心 SRE CMDB DevOps 多云监控使命补全监控缺失，快速迭代云管平台 DevOps Multi Cloud 云/ 自建全链路、全要素打通，赋能研发效能与稳定性全球敏捷运维峰会广州站 Monitoring Platform Alert Platform Log Platform …… 自研 TSDB、Trace、Log …… AIOps Platform DevOps Platform 多数据中心成为基础能力，赋能上层业务，实现监控价值

26. THANK YOU ！全球敏捷运维峰会广州站