AI 驱动的大数据自治：智能应对复杂运维挑战
如果无法正常显示，请先停止浏览器的去广告插件。
1. AI 驱动的大数据自治：
智能应对复杂运维挑战
熊训德
2. 大数据系统自治背景与挑战
目录
大数据智能管家技术框架及关键实现路径
实践效果与案例分享
探讨智能管家未来发展方向与潜在影响
3.
4.
5.
6.
7.
8. Sql熔断 自助转冷
自助弹性 …
根因分析 预测分析
成本分析 …
规则
引擎
参数调优 错峰执行
资源调度 …
SDK
巡检报表
元启
API
…
健康分评估
权限管控
异常收敛 预处理
告警收敛 …
离线
服务
定时巡检 模型训练
评估推荐 …
算法
决策
知识/评测库
模型/算法库
消息管道
主机
网络
HDFS
SPARK
HIVE
YARN
…
…
9. 产研/SRE专家
专项
LLM
一线
AI增强
AI驱动的全自治问题域
知识库
10. 显示编程
优化方法
专家系统
11. 数据预处理
异常
检测
特征分析
关联
分析
趋势
预测
12.
13.
14. 搜索词
转换后的问题
TopN
上下文窗口
向量检索
文本检索
分类+归纳
手动维护知识库
ES分布式数据节点
CPU 向量 CPU
SOP
标注数据
pdf
ES分布式机器学习节点
腾讯云ES集群
冷启动
GPU
重分布
客户反馈
工单系统
反馈优化
15.
16. 表分区
关联分析
特征分析
冷热
分布
增长
趋势
预测
17. 1.SparkSql
2.Schema
3.Config
1.Contents
2. DAG
3.Executors 1.Contents
2. DAG
3.Executors
1.hosts-cpu
2.hosts-mem
3.host-io
… 1.hosts-cpu
2.hosts-mem
3.host-io
…
LLM
1.准确性
2.幻觉
3.滞后性
18. Yang Li,."Towards General and Efficient Online Tuning for Spark",VLDB
19.
20.
21.
22.
23.
24. 大模型正在重新定义软件
Large Language Model Is Redefining The Software