基于 LLMOps 的车损互助行业 AI 应用实践

如果无法正常显示,请先停止浏览器的去广告插件。
分享至:
1. 基于 LLMOps 的车损 互助行业 AI 应用实践 百姓车联 / 张源源
2. © 2021 DP Technology All Rights Reserved
3. Outline 1. LLMOps 背景介绍 1. 2. MLOps 是什么? LLMOps 是什么? 2. 车损互助业务介绍 1. 车损互助业务介绍 3. LLM 落地实践介绍 1. 2. 3. 4. 5. 概览 准入报价 理赔定损 日常运营 内部提效 4. LLMOps 个人思考 1. 2. 3. 4. 张源源 降低门槛 提高可集成性 提高可观测性 提升效果 & 效率 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 3 38
4. MLOps 是什么? 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 4 38
5. MLOps 是什么? 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 5 38
6. LLMOps 是什么? 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 6 38
7. LLMOps 是什么? 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 7 38
8. LLMOps 是什么? 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 8 38
9. MLOps vs LLMOps MLOps 覆盖流程 LLMOps 开发模型和模型应用是等价的, 开发 LLM 和模型应用是分离的, 且在技术栈 模型上线等于模型应用上线。 上迥异。 目标人群 算法工作人员 开发模型同 MLOps 模型应用增加无代码 人群和业务开发 产品形态 SDK/Library/API 等易于已有 技术栈集成的方式为主 开发模型同 MLOps 模型应用增加无代码 • 基于开发 L L M 和后续的模型应用是分离的事实,LLMOps= 开发模型 LLMOps+ 模型应用 LLMOps。 • 开发模型类 LLMOps 往往有另外一个名字 AI infra, 更多关注大模型训练过程的效率、效果等问题。 • 模型应用类 LLMOps 更关注有了 L L M 之后, 如何开发 L L M 应用。 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 9 38
10. Outline 1. LLMOps 背景介绍 1. 2. MLOps 是什么? LLMOps 是什么? 2. 车损互助业务介绍 1. 车损互助业务介绍 3. LLM 落地实践介绍 1. 2. 3. 4. 5. 概览 准入报价 理赔定损 日常运营 内部提效 4. LLMOps 个人思考 1. 2. 3. 4. 张源源 降低门槛 提高可集成性 提高可观测性 提升效果 & 效率 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 1 38
11. 车损互助业务介 绍 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 10 38
12. 车损互助业务介 绍 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 11 38
13. Outline 1. LLMOps 背景介绍 1. 2. MLOps 是什么? LLMOps 是什么? 2. 车损互助业务介绍 1. 车损互助业务介绍 3. LLM 落地实践介绍 1. 2. 3. 4. 5. 概览 准入报价 理赔定损 日常运营 内部提效 4. LLMOps 个人思考 1. 2. 3. 4. 张源源 降低门槛 提高可集成性 提高可观测性 提升效果 & 效率 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 12 38
14. 概览 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 13 38
15. 准入报价 背景介绍 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 14 38
16. 准入报价 精算模型介绍 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 15 38
17. 准入报价 VIN 匹配问题和难点介绍 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 16 38
18. 准入报价 VIN 匹配解法和效果介绍 1. Exact Match 65%,Range Match 100% 。 2. 在实际业务中,已经不需要业务专家参与 且不会因为时差原因有服务时长限制. 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 17 38
19. 准入报价 VIN 匹配再思考 问题归纳 1. 本质是超长 tabular data context 的不稳定映射的文本匹配问题。 效果归因 1. 业务上有一定宽容度且对响应时间比较宽容。 2. 利用迭代思维得到比较靠谱的稳定映射,narrow down 大模型决策空间。 3. 基于 Dify 搭建了高效的 pipeline,让我们能低成本做很多尝试。 LLMOps 的优缺点(以 Dify 为例) 1. 亮点:创建应用即可 API 调用、日志标注、prompt 编排、workflow。 2. 不足:缺乏版本控制,对于 tabular data 的支持也不够,对于一些自动优化 prompt 的技 术支持的也不够,跟其他系统模型的集成目前也只有 API 这一种方式。 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 18 38
20. 理赔定损 背景介绍 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 19 38
21. 理赔定损 报案 agent 介绍 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 20 38
22. 理赔定损 Triage 思路介绍 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 21 38
23. Estimation & Validation 思路介绍 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 22 38
24. 日常运营 ChatBot 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 23 38
25. 内部提效 Ad hoc query 需求背景 1. 销售是车损互助的重要一环,尤其是我们还是一个跨国的销售管理团队。 2. 销售场景有大量的 Ad hoc query 的数据需求,但我们的销售基本都是美国本土人士,数 字不敏感,数据产品使用经验几乎为零。 团队现状 1. 数据平台团队目前只有 1 个同学,有大量的开发事宜。 2. ad hoc query 之前是通过培训、撰写高质量文档等“发动人民群众”的方式自助解决,但 对于普通业务人员来说,门槛还是比较高。 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 24 38
26. 内部提效 一种可能的思路—text2sql 实际效果如何? 1. 在过去一年,涌现出了 DB-GPT、ChatDB 等明星产品,虽然在常见 benchmark 上能达到 比较好的效果,但在真实环境中连 80% 都达不到。 2. 表现出来多表 join 不佳、多词列的召回不佳、库表 schema 超出 context 长度等诸多问题, 而且受困于数据治理,有明显天花板。 有没有更好的解法? 1. Text2sql 其实可以看成是使用大模型从 query 中获得输入参数、SQL 语法这两部分信息, 但是 SQL 语法只是有了输入参数之后获取数据的一种手段,而且因为是大模型生成的, 就不可能 100% 正确。 2. 那有没有可以 100% 正确的方式呢?有的,比如我们把参数传给一个确定性的 API,指标 平台里就是这种方式。 3. 另一方面,用高度自动化的方式创建指标平台已经是行业趋势,用这种方式还可以捎带手 解决数据治理的问题。 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 25 38
27. 内部提效 text2Data 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 26 38
28. 内部提效 数仓建模视角下的 Metrics 1. 原子指标 = 业务过程 + 度量。 2. 派生指标 = 原子指标 + 时间 修饰词 + 属性修饰词。 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 27 38
29. 内部提效 数仓建模视角下的 Metrics 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 28 38
30. 内部提效 Text2metrics 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 29 38
31. 内部提效 Metrics2Data 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 30 38
32. 内部提效 Metrics2Data 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 31 38
33. Outline 1. LLMOps 背景介绍 1. 2. MLOps 是什么? LLMOps 是什么? 2. 车损互助业务介绍 1. 车损互助业务介绍 3. LLM 落地实践介绍 1. 2. 3. 4. 5. 概览 准入报价 理赔定损 日常运营 内部提效 4. LLMOps 个人思考 1. 2. 3. 4. 张源源 降低门槛 提高可集成性 提高可观测性 提升效果 & 效率 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 32 38
34. 降低门槛 当前以 Dify、Coze 为代表的应用开发类 end2end 的 LLMOps 极大的降低了普通人开发 LLM 应用的门槛,意义重大,甚至因为这一点,LLMOps 现阶段的流量入口价值和分发价值都被低 估了。 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 33 38
35. 提高可集成性 1. 通过 API 把 LLM 应用作为整体跟其他系统对接的方式还不够,还需要节点级别的对接方 式,workflow 的 http 节点有一定帮助,但还不够,比如往往没有全局 memory。 2. 当前主流 LLMOps 更多思考的是新创建的应用,但市面上更主流的应用场景是需要跟已 有系统进行集成,提高可集成性能极大提高 LLMOps 的上限。 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 34 38
36. 提高可观测性 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 35 38
37. 提升效果 & 效率 1. 效果和效率其实也是在落地过程中,用户最在意的点,但大模型的自身能力缺陷在没有正 确使用大模型经验的普通人那里被放大,导致大模型落地差强人意。 2. 对于有能力的人,应该提供更多集成优秀解决方案的机会,甚至这本身也是商业机会。 3. 对于没有选择能力的人,应该提供更好的经过广泛证明的默认选项。 张源源 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 36 38
38. 个人简介 工作经历 社会经历 • 百度年度最佳团队成员 • 华人第一个 Appstore 年度精选应用 • 行业内首个 AI 运动产品 • 首个云原生 geospatial data platform, 被 Apache Iceberg 主动找到,选为 Spatial Computing 方向的官方方案 • 车险行业第一个全流程智能 agent (进行中) 张源源 • 围绕车险业务各环节,发表了超过 10 篇顶会顶刊 paper,申请了 8 项专利 • 保持与学界联系,人大硕士生导师 (校外),中国商业统计学会人工智能 分会常务理事,数据科学社区统计之 都常务理事 • 发掘青年才俊,累计指导超过 30 多 位名校学生参加学术、创业比赛 • 从创投圈获取一手资讯,帮助多家 VC source 项目和做技术 DD 基于 LLMOps 的车损互助行业 AI 应用实践 May 16, 2024 37 38
39. © 2021 DP Technology All Rights Reserved
40.

Главная - Вики-сайт
Copyright © 2011-2024 iteam. Current version is 2.137.3. UTC+08:00, 2024-12-09 14:32
浙ICP备14020137号-1 $Гость$