度小满金融业务风险监控体系及智能监控平台

1.

2.

3. 肖汉质量专家

4. TABLE OF CONTENTS 大纲 • 转换思路：系统没故障，线上真的没问题吗？ • 基于业务风险的监控体系 • 服务业务风险体系的监控平台 • 实践效果及总结

5. 监控的目标是什么？发现系统故障？ • • • • • 假设代码有bug，本来应该充值1元，数据库里写了100元，这个是系统故障吗？用户余额被清空，是系统故障吗？产品规则出现漏洞，被薅羊毛，是系统故障吗？风控规则策略错误，导致很多不该拒绝的订单拒绝，是系统故障吗？前端产品设计不好，导致大量用户在页面不知所措从而流失，是系统故障吗？那么，这些是线上问题吗？

6. 监控视角的转变：面向系统->面向业务 P0级线上问题分析 • • • • • 系统故障&性能 • • • • • CPU使用率上升接口耗时增加错误日志关键流量或成功率大幅下降前端性能监控业务风险&指标资金损失 GMV下降重大舆情转化率下降风险敞口

7. 业务风险的监控方法论梳理管理功能风险场景风险等级能否监控信贷申购赎回资损 P0 可监控理财赎回赎回垫资 P0 可部分监控保险查看持仓赎回失败 P0 …… …… 无法监控赎回方式错误业务分类赎回金额显示错误 …… P1 P1 是否已监控不可监控原因现有方案规则

8. 业务风险的监控体系 <- 指导方法业务风险的监控方法论时序数据指标监控数据一致性监控请求探针监控画骨智能监控平台 AnyCheck实时对账平台 Hugin探针监控平台数据采集 Flink实时处理 Influx集群数据衍生异常检测智能配置统一报警中心智能报警触达数据库对账文件对账接口数据一致性监控问题定位组件报警闭环处理页面元素探针接口探针 <- 监控手段 <- 系统承接静态资源探针统计分析报表 <- 报警闭环

9. 基于时序数据的异常检测：画骨智能监控平台业务监控面临的挑战：复杂“难看”的指标画骨特性：高度灵活的监控策略算法配置放款成功率监控： • 10分钟级汇聚的放款总数 > n • 和过去1、2、3个小时分别环比的放款成功率有2次下降5% • 和过去5天同比的放款成功率有3天下降5% • 以上条件在连续3个检测周期超过2次全部满足复杂业务指标问题全召回下0误报

10. 基于时序数据的异常检测：画骨智能监控平台业务监控面临的挑战：监控策略太复杂了，如何衡量效果画骨特性：直观的回测能力和基于异常注入的智能监控评估异常知识库：指标类型 + 异常特征监控策略迭代周期从1周缩短到1分钟

11. 基于时序数据的异常检测：画骨智能监控平台业务监控面临的挑战：上万的监控项，如何发现其中有问题的监控画骨特性：大范围自动的量化报警策略评估和智能监控巡检量化评估模型：召回率 * w1 + 误报率 * w2 + 报警时效性 * w3

12. 基于时序数据的异常检测：画骨智能监控平台业务监控面临的挑战：数据项太多了 / 数据项的维度太多了，监控配置维护成本太高画骨特性：基于增强学习的报警策略智能推荐 VS 策略模型可解释性！！

13. 基于时序数据的异常检测：画骨智能监控平台业务监控面临的挑战：数据项太多了 / 数据项的维度太多了，监控配置维护成本太高画骨特性：基于增强学习的报警策略智能推荐算法选择（同环比，绝对值，组合等）阈值参数（阈值，窗口，容忍数等）基于历史数据和随机异常注入的量化评估跟据策略和随机变量反向迭代产出推荐策略阈值

14. 基于知识库的智能问题定位组件平台业务监控面临的挑战：报警定位困难，成本高 • 维度占比组件 • 多维度根因分析组件 • 关联上线操作组件 • 智能报警关联组件 • 日志关联组件 • Trace关联组件 • ……

15. 内容回顾 <- 指导方法业务风险的监控方法论时序数据指标监控数据一致性监控请求探针监控画骨智能监控平台 AnyCheck实时对账平台 Hugin探针监控平台数据采集 Flink实时处理 Influx集群数据衍生异常检测智能配置统一报警中心智能报警触达数据库对账文件对账接口数据一致性监控问题定位组件报警闭环处理页面元素探针接口探针 <- 监控手段 <- 系统承接静态资源探针统计分析报表 <- 报警闭环

16. 实践效果 – 度量方法 85% 下降59% P0P1问题监控召回率监控避免P0P1问题情况监控避免问题数：监控召回且有明显止损动作的问题数

17.

18.