LLM 在 BI 场景的应用思路探索

1. BI 场景 LLM 应用探索第四范式 / 陈庆

2.

3. 关于我 - 机器学习平台（数据流、特征工程、MLOps） - 推荐平台（在线推荐引擎、策略编排） - 大模型应用（Copilot 应用）

4. 目录 • LLM + BI 探索之旅 • 场景落地介绍 • LLM 应用开发思考

5. BI 发展的历程传统BI 自助式BI AI + BI • 依赖IT部门生成报告，数据处理复杂。 • 业务用户可以直接操作数据，无需IT • 集成人工智能和机器学习，自动化深 • 主要是查看报告，互动少。介入，强调易用性。 • 支持用户自行创建报告和分析，提高了数据的可访问性。入分析。 • 更智能、更个性化的数据分析和见解获取。

6. 传统行业 BI 使用现状数据孤岛分析能力有限用户参与度低 “千人千表”，同一业务数据有重查看，少分析，缺乏深入的数不够灵活易用，严重依赖 IT 或第多种版本，易出现错漏，影响准据分析和预测能力三方，响应慢，成本高确性和可信度

7. ChatGPT Code Interpreter

8. LLM Text-to-SQLs 现状 • Spider 数据集执行准确率达到 91.2% • BIRD-SQL 执行准确率 65.45% （人类 92.96%） • 有限场景下，基于 LLM 微调能实现 90% RESDSQL C3 SQL

9. LLM Text-to-SQLs 有限场景下，基于 LLM 微调能实现 90%+ 效果特斯拉->Tesla

10. Text-to-SQLs 落地难点业务可信数据一致成本可控 • LLM 擅长通识，缺少领域知识 • 业务数据变化频繁 • 微调模型在 OOD 上泛化性不足 • 用户看不懂 SQL，无法判断准确性 • 数据治理参差不齐 • 记住容易，忘记难 • 底层数据不透明 • 治理成本高 • 整体算力成本高 Query：查询销量 SQL：select sum(sales) from t 真实的销量： sum(case when status=1 then sales 看不懂 else 0 end)

11. 我们的解决思路数据一致维度自动组合 • 业务数据变化频繁 • 数据治理参差不齐 • 治理成本高 • 统一数据标准 • 统一数据口径 • 不治理 / 少治理语义化数据建模自动 join

12. 我们的解决思路业务可信 • LLM 擅长通识，缺少领域知识 • 注入业务知识，用户可干预 • 用户看不懂 SQL，无法判断准确性 • 让目标用户能看懂结果 • 底层数据不透明 • 让用户快速上手业务术语和维度字典结构化表达查询逻辑提供示例问题

13. 我们的解决思路成本可控 • 微调模型在 OOD 上泛化性不足 • 减少调用次数 • 记住容易，忘记难 • 尽量不微调 • 整体算力成本高 • 快速适配新场景数据缓存机制 FewShot > 微调快速评测

14. 基于语义模型的 Chat BI 流程设计从大量 Data Model 中召回相关表和字段多轮对话管理构建合适长度的 prompt NER/分词，补充维度值提示基于数据库定义语义数据模型 DSL 翻译成 SQL 纠错字段不匹配值不对生成 Data Model Query DSL

15. 设计要点介绍缓存高频问答自动生成衍生指标自动生成 DataModel 去年特斯拉的销量查询销量自动生成根据类型和字段名称描述小鹏去年的销量同比、环比、占比类指标自动推测指标、维度、关联 key 蔚来上个月上险量品牌时间指标

16. 整体架构

17. 未来探索方向数据治理自动归因分析端到端数据报告 • 金融领域数据分级 • 指标波动根因分析 • 打造数据分析 agent • 重复数据监测 • 基于机器学习的特征重要性分析 • 自动拆解 + 自动取数 + 自动分析 • 数据资产门户 • 产出端到端报告

18. LLM 应用开发思路总结设计可信的业务流程尽早构建评测闭环 • 幻觉不是 bug，是 feature • 90% 的正确性 90%是假的 • 生成用户能判断的内容 • 从多维度构建数据集 • 提供快速干预手段 • 拆分子能力评估应用和算法解耦设计 • 提供原子能力 API，便于组合 • 产品和算法独立迭代

19.

20.