蚂蚁 DeepInsight 智能分析 Agent 在业务场景的落地实践

1. 演讲主题蚂蚁 DeepInsight 智能分析 Agent 在业务场景的落地实践姓名：余志鹏（百恼） Title：级技术专家

2. 1 ChatBI六难题及解决评测集构建程任务探索案

3.

4. 个简介余志鹏，蚂蚁集团级技术专家，在性能优化、架构设计、数据分析以及 AI + BI 等向，有着深厚的专业积累和实践经验。 2018 年加蚂蚁集团，深耕数据领域 7 年，责蚂蚁数据分析平台 DeepInsight ，带领产品进智能化时代。此前，在阿巴巴前负到作 5 年，负责 Aliexpress 营销平台，积累了丰富的平台运营与管理经验。

5. 01 业务背景介绍

6. 模型在分析领域解决两难题：槛

7. AI的演进路径：主完成

8. DeepInsight从2023年开启智能化性能脑数据量下性能化解决案看数报表/ 助分析/知数据 4个Copilot全开放， 6 批通过信通院测评。户案建站平台站式数据分析应代码搭建平台低 DeepInsigh商品化 GroupInsight 增分析数据驱动业务增据分析产品的数取数Copilot上线动优基于LLM的数据分析智能助理次应落地正式对外输出，上架数 DI 智能化持续升科售卖商品级，打造业竞争（进中）深度智能化，底层模型和产品体验优化，流业竞争。

9. 当前DeepInsight重点建设智能问答ChatBI &

10. 02 ChatBI六难题及解决案

11. 可能有新意

12. ChatBI要落地，临以下6 挑战特领域下的知识，以及个习惯问法，模型如何识别 NL2Code的正确率取决于使的程序语，Metric>Python>SQL>DSL，但是Python 法处理数据量，SQL转化为可配置图表有较 Metric覆盖低，且泛化能差不是所有需求通过然语描述的效率都更，协同产品交互更有性价，那么然语和产品交互两种模态如何协同模型成的结果，户如何验证是否正确。模型成错误后，户应该如何继续操作。模型响应时间和性能如何进权衡，模型越，正确率越，但是响应时间也越。的限制， Self-Re ne 最近7天取数Agent 的访问UV AI校验 NL2DSL 可配置图表指标是业务场景落地的控制器反问澄清知识召回路由Agent NL2Metric 代码纠错执代码取数Agent： agent类型=“取数Agent” 「取数Agent」的径是什么（不能配置）召回成功取数Agent： agent类型=“取数Agent” 补充知识普通表格 NL2SQL

13. 、知识是“燃料”，构建知识体系，才能实现在具体的领域场景进落地

14. 数据治理会成为AGI落地的关键，基于

15. 通过反问澄清规范产品展示时间范围定义业务习惯定义

16. 、如何提升NL2Code的正确率，不同成转化为召回，正确率可控正确率取决于指标的覆盖率，法泛使。

17. 多路由

18. 如何提升NL2DSL（在蚂蚁是NL2DAL）的正确率 Context Prompt Self-Re ne RAG 2025年~ 程改写

19. SFT，场漫成

20. 我们的案例：通过原最近7天杭州市各区时间筛选维值筛选维度交易度量结构化的额式组装NL2DAL的语料正排排序把取数提问结构化，并拆解成原结构，类似于搭积的式拼接成标语料

21. 合成语料，语料模式单 Loss值迅速跌0 ，导致模型训练过拟合

22. 增加语料的种类和多样性，对SFT有语料类型合成语料常显著的效果 CoT语料函数档训练效果 https://arxiv.org/pdf/2305.11206 通过多种语料混合，增加语料的多样性，提升语料的质量，可以提升模型训练效果

23. 在推理阶段，通过Self-Re ne提升NL2DAL准确率，正确的反馈可以帮助模型修正结果 Meta Store 查询元数据获取 Execution Sandbox DAX DAL SQL

24. 三、如何对模型成的结果进校验 Self-Re ne 最近7天取数Agent 的访问UV AI校验 NL2DSL 反问澄清知识召回 NL2Measure 路由Agent 代码纠错可配置图表执代码取数Agent： agent类型=“取数Agent” 「取数Agent」的径是什么普通表格（不能配置）召回成功取数Agent： agent类型=“取数Agent” 补充知识 NL2SQL

25. 三种校验式，帮助 SQL 户判断模型成的结果是否可信校验通过代码逻辑可以直接判断结果普通是不是OK 优点需要缺点为校验，需要较度产品配置 AI校验户就可以根据这个校验结果普通判断是否可的专业会出现误判校验户可以通过配置来判断和预期是否致覆盖率不（复杂查询难以还还成配置）最终这三种式都会提供给户，户根据实际情况进选择，多校验能保证结果更准确。

26. AI校验，

27. 四、当

28. 当前有三种情况，都会导致户作

29. 将成

30. 03 评测集构建

31. 构建评测集，正确漫的路，需要时间的积累分析领域的评测集分析评测集取数评测集报告评测集

32. 完善的评测集可以实现Agent的快速

33. 业界的评测集

34. 评测集问题

35. 评测集在各模型的跑分结果，考虑模型的发展，评测结果整体偏难模型名称正确率 DeepSeek-R1 45.2% o1 43.0% o3mini 42.2% Claude-3.7-sonnet-Thinking 41.0% GPT4.1 40.2% Claude-3.7-sonnet 40.0% qwen3-coder-480b-a35b-instruct 37.0% Gemini2.5-Pro 36.8% Gemini2.5-Pro-Reasoning 34.8% Llama 3.3-70B 24.0% GPT-4o 23.4% DeepSeek-R1-Distill-Qwen-32B 23.4% qwen3-32B 20.2%

36. 评测集及评测框架已经开源，家可以进评测评测体系构建及应对外开源 • • 域外：500道题（已开源）对内应域内：226道题（待开源） • • DeepInsight各Copilot智能体评测端到端的评测产品化构建产出2篇专利 • • 《种基于SQL计算特征和语义表达特征的标注法》《种基于SQL计算特征和语义表达特征的评测集成案》开源建设论《Falcon: A Chinese Text-to-SQL Benchmark for Enterprise-Grade Evaluation with SQL- and Semantics-Aware Annotations》（待发表）蚂蚁评测集使说明档：https://www.yuque.com/alanchen-nd2og/kbfv26/olmdxmoe7s6uogcg?singleDoc# • 开源地址：https://github.com/eosphoros-ai/Falcon • •

37. 04 程任务探索

38. 具体场景中，

39. DeepInsight端到端数据分析Agent产品——DataSage 产品定位：新代数据分析Agent，你身边的数据分析专家。 • Data（数据）+Sage（智者、专家、古希腊智慧神雅典娜别称） • 直接传递“数据领域的智慧专家”形象全新产品 • 寓意产品能像“智者” 样提供洞 DataSage 项 • 产品提供端到端数据分析能，需求执全流程AI 主，就像你身边的可靠数据分析专家实战蚂蚁集团商业智能BI团队+DeepInsight团队联合共建 BI + DataSage 从最需要BI智能化的场景出发，解决最迫切、最 Transforming Data into Intelligent Insights 痛点问题，从实战中淬炼产品频的BI

40. 程任务的技术实现：Planner + MCP + A2A协议要落地，ReAct更好还是Workflow更好？

41. 案例：如何通过任务拆解实现识执规具分析报告具

42. DataSage以产品+业务共建具

43. 在AI+BI这套新的范式下，需要

44.

45. Q & A 有兴趣可以微信交流