基于 LLMOps 的车损互助行业 AI 应用实践

1. 基于 LLMOps 的车损互助行业 AI 应用实践百姓车联 / 张源源

3. Outline 1. LLMOps 背景介绍 1. 2. MLOps 是什么？ LLMOps 是什么？ 2. 车损互助业务介绍 1. 车损互助业务介绍 3. LLM 落地实践介绍 1. 2. 3. 4. 5. 概览准入报价理赔定损日常运营内部提效 4. LLMOps 个人思考 1. 2. 3. 4. 张源源降低门槛提高可集成性提高可观测性提升效果 & 效率基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 3 38

4. MLOps 是什么？张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 4 38

5. MLOps 是什么？张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 5 38

6. LLMOps 是什么？张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 6 38

7. LLMOps 是什么？张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 7 38

8. LLMOps 是什么？张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 8 38

9. MLOps vs LLMOps MLOps 覆盖流程 LLMOps 开发模型和模型应用是等价的, 开发 LLM 和模型应用是分离的, 且在技术栈模型上线等于模型应用上线。上迥异。目标人群算法工作人员开发模型同 MLOps 模型应用增加无代码人群和业务开发产品形态 SDK/Library/API 等易于已有技术栈集成的方式为主开发模型同 MLOps 模型应用增加无代码 • 基于开发 L L M 和后续的模型应用是分离的事实,LLMOps= 开发模型 LLMOps+ 模型应用 LLMOps。 • 开发模型类 LLMOps 往往有另外一个名字 AI infra, 更多关注大模型训练过程的效率、效果等问题。 • 模型应用类 LLMOps 更关注有了 L L M 之后, 如何开发 L L M 应用。张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 9 38

10. Outline 1. LLMOps 背景介绍 1. 2. MLOps 是什么？ LLMOps 是什么？ 2. 车损互助业务介绍 1. 车损互助业务介绍 3. LLM 落地实践介绍 1. 2. 3. 4. 5. 概览准入报价理赔定损日常运营内部提效 4. LLMOps 个人思考 1. 2. 3. 4. 张源源降低门槛提高可集成性提高可观测性提升效果 & 效率基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 1 38

11. 车损互助业务介绍张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 10 38

12. 车损互助业务介绍张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 11 38

13. Outline 1. LLMOps 背景介绍 1. 2. MLOps 是什么？ LLMOps 是什么？ 2. 车损互助业务介绍 1. 车损互助业务介绍 3. LLM 落地实践介绍 1. 2. 3. 4. 5. 概览准入报价理赔定损日常运营内部提效 4. LLMOps 个人思考 1. 2. 3. 4. 张源源降低门槛提高可集成性提高可观测性提升效果 & 效率基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 12 38

14. 概览张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 13 38

15. 准入报价背景介绍张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 14 38

16. 准入报价精算模型介绍张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 15 38

17. 准入报价 VIN 匹配问题和难点介绍张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 16 38

18. 准入报价 VIN 匹配解法和效果介绍 1. Exact Match 65%，Range Match 100% 。 2. 在实际业务中，已经不需要业务专家参与且不会因为时差原因有服务时长限制. 张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 17 38

19. 准入报价 VIN 匹配再思考问题归纳 1. 本质是超长 tabular data context 的不稳定映射的文本匹配问题。效果归因 1. 业务上有一定宽容度且对响应时间比较宽容。 2. 利用迭代思维得到比较靠谱的稳定映射，narrow down 大模型决策空间。 3. 基于 Dify 搭建了高效的 pipeline，让我们能低成本做很多尝试。 LLMOps 的优缺点（以 Dify 为例） 1. 亮点：创建应用即可 API 调用、日志标注、prompt 编排、workﬂow。 2. 不足：缺乏版本控制，对于 tabular data 的支持也不够，对于一些自动优化 prompt 的技术支持的也不够，跟其他系统模型的集成目前也只有 API 这一种方式。张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 18 38

20. 理赔定损背景介绍张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 19 38

21. 理赔定损报案 agent 介绍张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 20 38

22. 理赔定损 Triage 思路介绍张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 21 38

23. Estimation & Validation 思路介绍张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 22 38

24. 日常运营 ChatBot 张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 23 38

25. 内部提效 Ad hoc query 需求背景 1. 销售是车损互助的重要一环，尤其是我们还是一个跨国的销售管理团队。 2. 销售场景有大量的 Ad hoc query 的数据需求，但我们的销售基本都是美国本土人士，数字不敏感，数据产品使用经验几乎为零。团队现状 1. 数据平台团队目前只有 1 个同学，有大量的开发事宜。 2. ad hoc query 之前是通过培训、撰写高质量文档等“发动人民群众”的方式自助解决，但对于普通业务人员来说，门槛还是比较高。张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 24 38

26. 内部提效一种可能的思路—text2sql 实际效果如何？ 1. 在过去一年，涌现出了 DB-GPT、ChatDB 等明星产品，虽然在常见 benchmark 上能达到比较好的效果，但在真实环境中连 80% 都达不到。 2. 表现出来多表 join 不佳、多词列的召回不佳、库表 schema 超出 context 长度等诸多问题，而且受困于数据治理，有明显天花板。有没有更好的解法？ 1. Text2sql 其实可以看成是使用大模型从 query 中获得输入参数、SQL 语法这两部分信息，但是 SQL 语法只是有了输入参数之后获取数据的一种手段，而且因为是大模型生成的，就不可能 100% 正确。 2. 那有没有可以 100% 正确的方式呢？有的，比如我们把参数传给一个确定性的 API，指标平台里就是这种方式。 3. 另一方面，用高度自动化的方式创建指标平台已经是行业趋势，用这种方式还可以捎带手解决数据治理的问题。张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 25 38

27. 内部提效 text2Data 张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 26 38

28. 内部提效数仓建模视角下的 Metrics 1. 原子指标 = 业务过程 + 度量。 2. 派生指标 = 原子指标 + 时间修饰词 + 属性修饰词。张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 27 38

29. 内部提效数仓建模视角下的 Metrics 张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 28 38

30. 内部提效 Text2metrics 张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 29 38

31. 内部提效 Metrics2Data 张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 30 38

32. 内部提效 Metrics2Data 张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 31 38

33. Outline 1. LLMOps 背景介绍 1. 2. MLOps 是什么？ LLMOps 是什么？ 2. 车损互助业务介绍 1. 车损互助业务介绍 3. LLM 落地实践介绍 1. 2. 3. 4. 5. 概览准入报价理赔定损日常运营内部提效 4. LLMOps 个人思考 1. 2. 3. 4. 张源源降低门槛提高可集成性提高可观测性提升效果 & 效率基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 32 38

34. 降低门槛当前以 Dify、Coze 为代表的应用开发类 end2end 的 LLMOps 极大的降低了普通人开发 LLM 应用的门槛，意义重大，甚至因为这一点，LLMOps 现阶段的流量入口价值和分发价值都被低估了。张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 33 38

35. 提高可集成性 1. 通过 API 把 LLM 应用作为整体跟其他系统对接的方式还不够，还需要节点级别的对接方式，workﬂow 的 http 节点有一定帮助，但还不够，比如往往没有全局 memory。 2. 当前主流 LLMOps 更多思考的是新创建的应用，但市面上更主流的应用场景是需要跟已有系统进行集成，提高可集成性能极大提高 LLMOps 的上限。张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 34 38

36. 提高可观测性张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 35 38

37. 提升效果 & 效率 1. 效果和效率其实也是在落地过程中，用户最在意的点，但大模型的自身能力缺陷在没有正确使用大模型经验的普通人那里被放大，导致大模型落地差强人意。 2. 对于有能力的人，应该提供更多集成优秀解决方案的机会，甚至这本身也是商业机会。 3. 对于没有选择能力的人，应该提供更好的经过广泛证明的默认选项。张源源基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 36 38

38. 个人简介工作经历社会经历 • 百度年度最佳团队成员 • 华人第一个 Appstore 年度精选应用 • 行业内首个 AI 运动产品 • 首个云原生 geospatial data platform，被 Apache Iceberg 主动找到，选为 Spatial Computing 方向的官方方案 • 车险行业第一个全流程智能 agent （进行中）张源源 • 围绕车险业务各环节，发表了超过 10 篇顶会顶刊 paper，申请了 8 项专利 • 保持与学界联系，人大硕士生导师（校外），中国商业统计学会人工智能分会常务理事，数据科学社区统计之都常务理事 • 发掘青年才俊，累计指导超过 30 多位名校学生参加学术、创业比赛 • 从创投圈获取一手资讯，帮助多家 VC source 项目和做技术 DD 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 37 38

40.