大模型金融支付类企业ToC应用探索与落地

1. 大模型金融支付类企业ToC应用探索与落地平安壹钱包 —王良

2.

3. OPEN AI chatGPT

4. Chat GPT TikTok instagram Whats APP Twitter 手机电话 2个月 9个月 100000000+ 2.5年 3.5年 2个月用户破亿 5.5年 16年 75 年

5. 80% 到 2026 年，接入生成式 AI 或大模型的企业

6. 前期调研

7. 确定未来 AI大模型未来的前景是明确的 AI必然会重构世界

8. 确定现在要想不掉队就必须现在进入

9. 不确定落地选择什么场景？解决什么需求？降本增效还是扩大收益？用什么技术？开源闭源？。。。。。。

10. 找落地场景

11. 找落地场景的思路从最熟悉的领域入手让AI学习最优秀员工的能力，再让它辅助其他员工，实现降本增效 “文本” 进 —> 不要求大而全，将任务拆解，先解决小任务，小场景 “文本” 出

12. 制定落地方案

13. 理解大模型原理,不懂原理就不会举一反三，走不了太远一定要有实践经验，没有实践就只能纸上谈兵，做事不落地认知要高，认知不高就无法做出最优决策，天花板太低

14. 理解大模型原理,不懂原理就不会举一反三，走不了太远一定要有实践经验，没有实践就只能纸上谈兵，做事不落地认知要高，认知不高就无法做出最优决策，天花板太低

15. 选择模型

16. 在线大模型 API 调用开源大模型私有化部署在线模型普遍性能更强，调用时模型文件、项目文件、还有技术⻔槛和硬件⻔槛更低，配套模型权重、等等在本地部模型生态和服务更加完善，不需署，因此可以更好的确保数要维护据安全性

17. 需求国内 2C 国内 2G 国内 2B 出海数据安全国外大模型国内大模型开源大模型

18. 合规要求

19. 国徽

20.

21.

22.

23.

24. 《生成式人工智能服务安全基本要求》《生成式人工智能服务管理暂行办法》提供者在向相关主管部⻔提出生成式人工智能已经 2023 年5月23 日国家互联网信息办公室服务上线的备案申请前应按照本文件中各项要 2023 年第 12 次室务会会议审议通过，并经国求逐条进行安全性评估，并将评估结果以及证家发展和改革委员会、教育部、科学技术部.工明材料在备案时提交业和信息化部、公安部、国家广播电视总局同意，自 2023年8月 15 日起施行《生成式人工智能服务管理暂行办法》明确，提供者违反本办法规定的,由有关主管部⻔依照《中华人⺠共和国网络安全法》、《中华人⺠共和国数据安全法》、《中华人⺠共和国个人信息保护法》、《中华人⺠共和国科学技术进步法》等法律行政法规的规定予以处罚; 法律、行政法规没有规定的,由有关主管部⻔依据职责予以警告、通报批评,责令限期改正;拒不改正或者情节严重的,责令暂停提供相关服务。构成违反治安管理行为的,依法给予治安管理处罚;构成犯罪的,依法追究刑事责任

25. 报备经验分享

26.

27.

28.

29. 评估结论为符合的评估结论为不符合的评估结论为不适用的应具有充分的证明材料应说明不符合的原因，采应说明不适用理由用其他技术或管理措施能达到同样安全效果的，应详细说明并提供措施有效性的证明

30. 落地场景介绍

31. 视频展示

32. 知识库(资料库、官网、行业规范、操作手册) 文本分割提取文本文本区块 chunk 划分段落区块文本嵌入用户输入一个问题生成答案反馈文本嵌入 0.7 平安 GPT -0.1 0.4 0.3 -0.4 -0.1 -0.3 问题文本的嵌入向量提示词Prompt (包含原文和问题) 相似匹配向量库匹配K 段和问题相关知识库原文

33. 什么是向量化 serpentine sidekicks 0.004 Text 将文本转化为固定⻓度的稠密向量，实现文本在向量空司的映射 0.003 0.002 —— Text as vector 0.014 anatine amigos Text Embedding的本质是用一串数字代表文本，从而让计算机认识文本 0.027 0.001 0.020 —— 0.023 Text as vector Embedding在用户意图认\别以及私有知识库搭建方面发挥着至关重要的作用

34. 独热编码（One-hot Encoding）这是一种将每个词表示为唯一的向量的方法。向量的维度等于文本中不同词的数量，对于给定的词，它在向量中的值为1，其余位置均为0。这种表示方法简单直观，但无法表示词与词之间的语义关系。狗猫⻢羊狗 1 0 0 0 猫 0 1 0 0 ⻢ 0 0 1 0 牛 0 0 0 0

35. 词嵌入模型（Word Embedding） Word2Vec和GloVe等，它们利用深度学习方法，通过训练大规模语料库学习词的向量表示。这些模型能够捕捉词的语义和语法信息，使得语义上相似的词在向量空间中的位置相近

36. 句子向量化是将整个句子转换为一个数值向量的过程，以便计算机和机器学习模型能够理解和处理句子级别的文本信息

37. 文档向量化

38.

39.

40. 为什么用 RAG 大模型的局限 RAG能提供什么模型训练数据 cut-off 真实信息私有数据、保密数据、新数据更新私有信息可解释性、幻觉问题及时与动态信息

41. Fine-tuning（微调）和 RAG 投产比不高改变模型权重技术实力不足会有副作用可控不改变模型的权重技术难度小

42. RAG 落地过程中需要关注的事项挑战 01 挑战 02 挑战 03 挑战 04 数据源加载与处理数据切分难检索效果不好检索结果过多或过⻓挑战 05 挑战 06 挑战 07 挑战 08 可解释性与鲁棒性复杂 query 的处理自动化的问题反馈、评估与迭代

43. 01:数据源加载与处理数据源多样 1. 2. 3. 4. 5. 6. 7. 8. txt chm csv markdown 网⻚ PDF excel Doc 复杂数据结构 1. 2. 3. 4. 5. 6. 7. 标题列表表格⻚眉⻚脚阅读顺序图表解析问题 1. 扫描文件 2. 动态网⻚ 3. 数据同步

44. 02:数据切分难 indexing Time • • embedding输入⻓度限制影响 embedding效果 Retrival Time • 无法定位到关键区域 chunk_size大小选择? • • TextSplitter试验 Chunking解耦:IndexingTime和Generation Time Generation Time • context_size 有限

45. 常⻅五种技术的实现方式 01 系统消息内输入外部文本高效但受限的无损信息传递 02 03 手动切分与利用LangChain Embedding匹配等工具灵活高效的短文本传递策略固定化的⻓文本读取方 04 05 高⻔槛的⻓期知识注入无损的大规模文档处理利用OpenAI 大模型 Assistant API进微调与知识灌注行⻓文本读取

46. 03:检索效果无法检索到有用的信息 • • • 语义相似度问题切分问题元数据检索包含无效信息 • • • 邮件、聊天记录等使用摘要相关性过滤

47. 04:检索结果过多或过⻓ 01.切分阶段更小的chunk_size 按 sentence 切分提取原chunk摘要 • • • 02.检索阶段 • • 生成元数据过滤生成top_k 03.后处理阶段 • • • • • 关键字过滤相关性过滤业务逻辑过滤不相关句子移除重排 04.答案合成阶段 • • • • • Compact/stuff lterative Re ne 单独回答+总结对 chunk做摘要自定义合成策略

48. 05: 可解释性与鲁棒性数据引用 • • 在必要的时候引用在准确的位置引用自举 • • • query generation self-consistency self-correcting

49. 06: 复杂 query 简单 query • • 去年东方航空财报基本情况? 李白的主要经历? 复杂 query • • • 对比19~23年东方航空财报税前利润总额对比今年东航、南航的营收情况对比李白在当官之前、和之后的心态变化

50. 07: 自动化 Agent ALL Tools ReAct Function calling Data Agent

51. 08:反馈、评估与迭代反馈 • • 收集反馈数据 tracing. 评估 • • IR评估端到端评估迭代 • • 整理数据尝试 Fine-tuning

52. RAG feedback 收集多维度反馈回答质量检索质量 e2e metrics IR metrics 引用质量引用不完全引用了不想关的文档问题生成质量 diversity

53. 上手实践 • • • • • • • RAG是一个复杂的系统，使用low-levelAPI拆解成小的步骤给LLM 写 prompt，帮助我们解决各步骤中的问题让 LLM 生成数据来帮助我们训练或评估让 LLM 来做规划使用自己熟悉的数据跑通 RAG 流程评估真实场景下的表现从数据源加载、索引构建、检索、答案合成等分步骤进行 case study

54. 标注平台

55. 导入数据数据清洗选择标注类型智能预标注分配标注任务智能质检人工标注机器学习输出数据审查

56. Function calling & Agent

57.

58.

59.

60. 基础类Al Agent项目 Function calling + OpenWeather 智能查询天气信息应用 Function calling +邮箱API 智能收发邮件应用

61. 进阶类Al Agent项目 Function calling +搜索API+爬虫智能搜索问答机器人 Function calling + Python 代码解释器 Function calling + pymysql + MySQL 定制化SQL代码解释器 Function calling + Python +算法库机器学习&深度学习 Agent

62. 大模型浪潮下的未来趋势脱离 “ 信息茧将每个行业最程序员之间的差每个行业都值 “ 小而美 ” 创业房 ” 给出客观顶尖的能力赋距会缩小，程序得用大模型重团队的重大机全面的建议予给每个普通员和非程序员的做一遍遇个体差距会拉大

63. 大模型应用架构师的职责是什么怎么更准确怎样更省钱系统好维护

64. Thanks 平安壹钱包 — 王良