多智能体驱动的企业级ChatBI 落地实践

如果无法正常显示，请先停止浏览器的去广告插件。

相关话题： #AI Agent

1. 多智能体驱动的企业级 ChatBI 落地实践陈叶超

2. 目录 01 喜马 ChatBI 背景和挑战 02 喜马 ChatBI 产品与架构 03 构建可持续进化 ChatBI 04 未来展望和规划

4. 01 喜马 ChatBI 背景和挑战

5. ChatBI 研发背景用数门槛高：找数难、取数难、不会写 SQL 数据不平权：业务团队排队等需求，需求响应慢、依赖数据产品和自助取数业务痛点数据消费效率低、数据价值得不到释放人力成本高、交付压力大需求被动、数据需求投诉后才知道重复取数，成就感低数据团队痛点大模型和智能体技术发展迭代快，能力进度显著自然语言是最高效、最直接、最有价值需求表达和反馈传统 BI 加速向 BI+AI 转型 Data+AI 发展趋势我们的观点

6. 为什么要自研喜马 ChatBI 与 ChatBI 商业化产品的核心差异项目开源 & 商业化产品自研喜马 ChatBI 准确度测试下来没有符合预期产品数百列 + 多表：至少 85% 以上，且能持续进步数据安全无法继承原有数据权限、不支持加密、脱敏安全合规存在挑战复用现有数据权限、支持敏感加密、脱敏安全合规智能选择数据 & 多表关联智能选择数据集基本不支持多表关联基本不支持、效果比较差自然语言提问情况下自动选择数据集支持多表关联多轮问答 /追问有限支持支持开放、兼容开放性差模型、数据源、 BI产品绑定自身智能体扩展开放向公司 Agent 应用开放复用兼容当前 Lakehouse 架构能力可进化全链路追踪 & 反馈有限预设支持多数依赖模型微调、周期长效果差 N/A 可调优、可介入、且快速、实时查询速度、资源消耗、多维度的准确率分析等

7. ChatBI 研发挑战 P 表召回难准确率挑战大十万级别表，无法精准识别召回 ChatBI 实际准确率较低 A ChatBI 四大核心挑战模型幻觉 D 评测难大模型幻觉不可避免、无中生有准确率评测难、无标准 SQL 答案 C

8. 02 喜马 ChatBI 产品与架构

9. ChatBI 产品形态示例数据

10. ChatBI 产品架构产品形态产品能力智能体能力 Tools Context 增强 ChatBI 桌面+ 移动端智能问数智能选数据集意图识别 agent RAG 表/字段/值单表问答智能选数据集 agent DB 查询业务知识专业词汇模型接入管理 Data Infra Milvus 联表查询智能改写 agent Memory 模型接入 ChatBI MCP ChatBI 办公工作台 Embedding 语法检查时间规则模型 StarRocks 多轮问答 SQL agent 权限校验指标知识文本模型 Lakehouse Server ChatBI OpenAPI 取数解释智能绘图智能问数 agent 智能推荐智能评测 agent 反馈& 日志追踪数据下载样例学习数据集管理用户理解 agent 取数过程查询 SQL 方言学习数据标注个性化Memory ... OneMeta DataOps 平台

11. ChatBI 产品演示视频

12. 03 构建可持续进化的 ChatBI

13. ChatBI 全生命周期

14. 构建可持续进化的ChatBI ChatBI 四大要素评测反馈机制高质量数据集评测先行自动化可衡量的评测机制 AI/人工标注按照业务域设计的高质量数据集精挑细选经过数据治理过的数据表精心维护的知识、规则、指标、语法等多 Agent 协同按照核心职责拆分 Agent Agent 少而精，每个Agent 做到极致选择合适的LLM ，且持续迭代个性化 Memory 和用户理解短记忆：会员上下文理解，追问等长期记忆：历史用户提供的知识、用户偏好推荐、个性化，冷启动/个性化推荐更精准用户理解和需求引擎

15. 评测难：无法衡量，就无法改进 1 2 3 4 5 评测的重要性如何评测？点赞/点踩无标准测试方法 SQL 无标准答案点赞和点踩行不行？评测 SQL 行不行？点赞和点踩互动低更多反映对产品偏好关联准确率不置信标准测试集和企业知识以及数据实际不匹配同一个问题不同SQL 都是对的准确率低，用户易流如何知道做的好不好无法衡量，就无法改进

16. 评测先行：无法衡量，就无法改进

17. 评测先行：无法衡量，就无法改进

18. 海量表召回的挑战 1 2 3 4 5 上下文受限表信息不完善选择难质量差表 Join 问题十万级表，超模型 tokens 消上下文耗大无注释字段注释不完善枚举不明确如果直接使用，会导致 SQL 生成准确率低表字段接近，比如专辑 id、声音id、播放等信息，难以判断哪个表可以使用召回多个表，虽然生成 SQL 也是正确的，但是表数据质量差无法使用，比如测试表、临时表、断更表等大模型容易根据自己理解，随意join表字段，实际只有特定的表字段可以相互join

19. 海量表召回的挑战 1 2 3 4 5 上下文受限表信息不完善选择难质量差表 Join 问题十万级表，超模型 tokens 消上下文耗大无注释字段注释不完善枚举不明确如果直接使用，会导致 SQL 生成准确率低表字段接近，比如专辑 id、声音id、播放等信息，难以判断哪个表可以使用召回多个表，虽然生成 SQL 也是正确的，但是表数据质量差无法使用，比如测试表、临时表、断更表等大模型容易根据自己理解，随意join表字段，实际只有特定的表字段可以相互join

20. 高质量数据集：解决召回难题高质量数据集：对表、知识、规则等核心 Context 的抽象封装表信息表信息字段信息字段枚举数据时间是否维度… 知识企业知识黑话/术语业务说明指标口径词汇说明… 规则语法规则时间规则安全规则 Join规则… 其他权限信息预设推荐问题样例添加标题添加标题添加标题

21. 高质量数据集：最佳实践处理数据集而不是表数据集是 ChatBI 处理 Context 工程最核心单位。召回数据集而不是表；基于数据集结构化信息生成 SQL 、处理权限大而全不如少而精按业务域建设高质量数据集业务域名负责人梳理核心业务表和知识库看板和自助取数重要性和访问量作为建设数据集重要参考基于数据集优化知识软件工程概念仍然适用全局相关知识和单数据集相关知识对数据集知识进行高度数据治理和优化，经过评测以后再上线数据集结构化处理，而不仅仅是向量化数据建模、关联度高的表打宽、OLAP 加速查询用好工具，比如复用数据集的权限、 SQL 语法校验

22. 高质量数据集：数据集实例业务域数据集核心表核心企业知识经典用户场景公司经营域收入和利润整体经营收入业务线专业词汇、黑话今年会员业务收入趋势如何业务线收入等业务线之间关系、指标口径内容运营域专辑综合分析集专辑宽表、播放、标签分类、赛道、频道、版权等最近一个月最热门专辑top 100，同环比如何互动、流量归因等声音综合分析集声音基本信息、播放、帮我圈100个热门科技财经类播客专辑标签、是否上架、付费等枚举最近一周评论互动率最高的声音top10 用户/设备宽表、专辑人群分类今年DAU 7日留存日均趋势维度、画像等互动、播放、留存指标口径、 top10的资源位互动指标等用户域用户综合分析黑话、资源位信息等创作者域主播分析创作者基本信息创作者专辑、声音、直播统计信息收入统计信息等主播分级分类、赛道最近半年订阅订阅增长最多的创作者

23. 高质量数据集：数据集实例业务域数据集核心表广告域广告资源位分析广告位 /资源位、点击曝光转化、业务线、收入等信息核心企业知识经典用户场景广告相关术语 /黑话等开机大图广告位，近一周广告收入趋势推搜域推搜多维扫描资源位点击、曝光、转化 /播放等表客服域客服数据集 VOC 、用户工单等数据治理 OneMeta 表数据治理表数据增长表等表业务分域负责人等最近半年存储增长最快的 top 10 个表各数据产品运营表数据任务配置、日志表告警、监控信息表 ChatBI 全链路 Trace 表等技术产品词汇、成本组成技术口径等最近 6 个月 AI用户理解大模型消耗情况每月 ChatBI 访问 UV 、PV 情况 … … … 技术平台域 Data+AI 各垂直业务域 … 平台资源位信息，推搜相关内部知识库 VOC 内部术语等

24. 多智能体协同：Agent 架构 https://lilianweng.github.io/posts/2023-06-23-agent/

25. 多智能体协同：各司其职，协同优化 1 2 数据集 Agent 改写 Agent 只干一件事情，负责包括处理数据集Context （表信息、多表关联信息、知识库、上下文 Context 等）以及智能选择数据集 ⚫ 主要是时间改写 Agent ，负责处理易错的周期、同环比、数据时间等时间语义改写，改写是为了明确问题，提升准确性。 3 SQL Agent ⚫ SQL 生成、解释、纠错、优化等，专注于将SQL 生成的准确度做到极致，同时会反思和校验语法等 ⚫ 4 5 用户理解 Agent 评测 Agent 用户和需求理解，包括个性化 Memory 、行为偏好、用户问题推荐、需求理解，如个性化问题推荐、问而未得去构建高质量数据集，是构建数据- 用户- 系统持续进化的关键。 ⚫ 准确性评测，从多维度评测ChatBI ，评测Agent 可以评测端到端的 Query ，也可以单独评测数据集召回。每次变更，包括模型、数据、 Context 等迭代都会触发评测Agent

26. 工具：Agent 手和脚好的工具：安全、高效、便捷、可复用 1 2 取数 Tool 权限 Tool 多数据源多计算引擎 SQL 取数 ⚫ ⚫ 复用原有数据权限系统，兼容原有权限系统授权、加密、脱敏 4 3 Memory & RAG 向量存储、检索、增强记忆存储、管理、检索长期记忆、短期记忆、追问会话 MCP 5 Tool ChatBI 作为通用的 Tools ，MCP 和API 对 Agent 平台暴露，比如 Dify 等全链路 Trace ⚫ ⚫ ⚫ 反馈和追踪整体链路数据标注等 Agent 每一步的输入、输出、报错、大模型消耗、性能统计等

27. 多智能体协同：全流程拆解一个例子：本周小说频道的专辑DAU趋势如何？环比？

28. ChatBI 智能异动分析 ChatBI MCP x Dify 构建人货场异动分析

29. 落地效果准确率覆盖率 ⚫ 单数据集 9 个表，单表 200+ 列，准确率～85% ，人工复盘（非点赞 /点踩） ⚫ 核心指标覆盖超 85% ，2 万+ 智能问数 ⚫ 运营岗覆盖率～ 85% ⚫ 产研、算法岗覆盖率～ 70% ChatBI 效率提升数据价值释放、反哺数据建设 ⚫ 数据平权，数据分放和消费效率显著提升 ⚫ 人对数据的消费：取数效率百倍提升，从找数半天找不到 →随时随地想问就问 ⚫ AI 对数据的消费： ChatBI 通过 MCP 和API 提供给Agent 平台调用，支持自然语言接入，Agent 消费数据门槛大幅降低 ⚫ 运营更爱用数了，聊着天就把活干了 ⚫ 自然语言驱动需求精准识别和及时响应，拉近与业务方距离 ⚫ 反哺数据治理：发现解决大量数据不规范问题

30. 可持续进化的ChatBI Data 用户理解高质量数据集高质量数据集高质量上下文自然语言驱动用户、需求理解交互&个性化Memory形成数据飞轮 Agents ChatBI 飞轮多 Agent 迭代协同 Memory 评测反馈 LLM、Agent 越来越智能，多、快、好、省的Tool 持续沉淀指引 Agent 优化升级 Eval

31. 04 未来展望和规划

32. 未来展望和规划准确度提升企业知识库持续治理和升级基于私有知识库和数据标注模型微调人找数到数找人支持订阅推送主动数据巡检、主动推送数据异动数据深度洞察分析 Deep Data Research ，自规划深度数据洞察分析

33.

34. THANKS 大模型正在重新定义软件 Large Language Model Is Redefining The Software