1. 基于知识引擎的金融 大模型应用实践 曹阳/中关村科金 资深AI产品总监

2.

3.

4.

5. 中关村科金资深 AI 产品总监，拥 有超过 10 年的 ToB 产品经验， 曾任职于阿里、京东、字节跳 动、shopee 等公司，主导多个智 能 客 服 产 品 ， 对 NLP 、 智 能 客 曹阳 服、CRM 相关的技术、产品应 用、商业化有着丰富经验。

6. 基于知识引擎的金融大模型应用实践 • • • 大模型在金融业务场景下应用的趋势和挑战 大模型驱动知识应用新范式 基于知识助手基座的大模型金融领域应用实践

7. 2024大模型技术的发展态势 GPT-4O等多模态模型效果值得期待 营销、运营短视频生成，即将全行业落地 私有化基座模型能力无瓶颈 开源大模型 性能不断进化 大模型训练技术成熟 增 效 私有化领域知识训练已 经成熟 大模型 性能不断进化 多模态大模型 效果惊艳 视频大模型 超预期发展 效 型提 模 大 大模型工具链 已经成熟 快 加 度 速 ， 务 融业 金 能 赋 型 模 大 大模型厂商 全面降价 大模型响应速度、上下文长度不 断提升 降本 型 大模 运行载体小型 化 端侧大模型 发展迅猛 模型小型化技术进入成熟期 GPU需求越来 越低 多行业多场景 最佳实践落地 降低大模 型技术门 槛 基座模 型获得 成本降 低 大量最佳实 践，直接抄作 业 降本

8. 2024年大模型应用的发展阶段 大模型应用成熟度（场景） 大模型技术成熟度（能力） 01 技术专利数量 02 技术发展时间 03 客服 技术舆论指数 厂商服务成熟度 营销 （从低至高） 2023 –> 2024H1 产品研发 行业大模型 基础作业 AI智能体 智能办公 知识管理 大模型 编排工具 HR管理 文本生成图像 客户需求期望 数据治理 信息安全 （左低右高） IT系统建设 提示工程 大模型工程化 财税管理 供应链与生产 出海业务 大模型对话 机器人 2024年上半年，经过我们的大量实践与观察，发现大模型场景落地进入爆发阶段，相 相比2023年，客服、智能办公、知识管理领域，从客户需求与厂商服务成熟度方面来看，进步迅猛 应工程化技术已进入“准成熟阶段”

9. 金融天然是数字，数字化场景需求显著 金融大模型驱动的AIGC可⻅十年发展红利 对金融行业的影响和变革 ◎ 个性化的服务和极致用户体验 未来 3-5 年 进入应用深化阶段 利 润 标准通用场景基本覆盖 高价值专业场景规模应用 临界点 当前阶段 相同任务AI模型训练成本 近五年下降 2017-2025 年 技术突破期 ◎ 高效的价值传递效率 2025 年 -2030 年 应用深化期 200 倍 2030 年 - 未来 大规模应用期 ◎ 合规安全的决策智能

10. 大模型在落地过程中的关键挑战 灵活兼容 成本经济 大模型迭代速度快，需根据场景 需求，兼容多个厂家/多个版本/ 医疗 个人助理 智能家电 zzz 通用大模型 Google 新场景下冷启动阶段需以人机协 同的方式保障准确度。使用过程 中形成模型自迭代的反馈机制。 pytorch zzzz g 硬件 zzz vg 分布计算 TPU 投入产出比。 Meta 专业性。注入合法合规与安全 隐私能力，遵守内外部规则制 定，提升拒绝能力。 megtran tensorflow GPU 源消耗，平衡响应时延，提升 最大程度避免幻觉问题，提升 OpenAI 分工体系。 参数规模的模型，降低算力资 安全可信 领域大模型 领域大模型需具备工具操控能 人机协作 金融 社交媒体 组合创新 模型形成能力互补、云边端有效 政务 应用 多种参数规模的基础大模型。 力，与其他能力组件、传统AI小 根据不同场景需求，选择不同 光模块 运维自主 领域微调将大幅提升基础大模 型的特定场景准确度，数据是 其中关键。大模型技术前置， 企业可自主运维。

11. 大模型是数字时代的智能基础设施， 推动科技平权新范式 科技平权强调普适价值 大算力 ： 单位芯片计算能力提升 5000 倍 大模型是人人皆可对话的AI,重塑新型人机生产关系， 成为数字生产要素新范式和智能基础设施 强算法 ： Transformer 算法 + 无监督预训练 知识平权 大数据 ： 全网可用数据 智 Scaling Law （规模法则） 大模型全面整合“大算力、强算法、大数据”， 展现出关键要素优化组合的巨大潜力 能 大模型验证 涌 科技平权 现 可行技术栈 服务体验 平权 决策平权 模型大小、训练数据量、计算资源的规模和比例，影响建模的性能。 多 元 升 级

12. 基于知识引擎的金融大模型应用实践 • • • 大模型在金融业务场景下应用的趋势和挑战 大模型驱动知识应用新范式 基于知识助手基座的大模型金融领域应用实践

13. 大模型的本质：语言与世界知识的知识库 参数化的知识表示 • 基础的世界知识 • 序列/语言的理解能力 • 遵循指令能力 • 上下文记忆能力与学习能力 • 泛化到新任务的能力 • 复杂推理的思维链能力 • 涌现能力 = Transformer 长距离语义关联 + Scaling Law 海量知识

14. 大模型只是AGI的一个里程碑 语言能力 过程判断 事实判断 RLHF Knowledge Enhancement CCG LSTM Transformer BOW N-gram Embedding Prompt learning 价值判断 Alignment PPO Instruct Turning, Chain of Thought Vector DB Autonomous Agent Embodied AI 规范约束 因果推断 事实步骤 实体关系 过程 句子 知识 单词 段落 序列 token 目标 价值观 短语/句子 token 词义 句义 语义 事实 过程 目标 心智

15. 大模型潜在应用场景：构建企业知识 中台是最佳的切入点 非结构化数据的知识化将成为新时代的数智化基建，构建企业知识中台，以知识中台为基础， 构建各类基于知识的应用场景。 容错性高 企业知识问答 闲聊 弱专业性 写作 文档摘要 文生图 定向 写作 营销 创意 客服 行业报 告 专业性弱 智能 音箱 专业性强 编程 辅助 教育 培训 金融 投研 投顾 自动 驾驶 法务 咨询 需求大 需求小 诊疗 价值高 容错性低 价值低

16. 大模型驱动知识应用新范式 传统AI赛道的典型模式为AI技术垂直场景+项目制开发,在可持续经营和规模化扩张能力方面稍显不足,而大模型的技术特征和应用效果, 让市场对于AI的商业价值产生了全新的认知与期待。 大 模 型 大量参数 深层网络结构 更好的性能 大量参数 更强的理解和推理能力 深层网络结构 较少的特征工程 大量参数 更容易应用于跨任务和跨领域 深层网络结构 可批量化复制 技术落地快 大 模 型 市 场 适用范围广 在新一轮 人工智能 技术热潮 中，中国 大模型产 业规模快 速增长， 呈逐年上 涨趋势。 175 ZB 48.6 ZB 全球数据量 中国数据量 数据量不断上升 大模型的出现大幅度降低了非结构化数据的使用门槛，有助于释放海量非结构化数据中隐含的知识，赋能企业业务。 知识应用痛点 知识碎片化 知 识 应 用 信息的爆炸式增长导致知识变得碎片化和分散。 信息过载 企业缺乏有效的信息筛选处理机制，导致大量信息被堆积 和遗忘，无法得到及时有效的利用。 知识共享交流难 知识共享机制不足、知识交流渠道不畅、知识共享和交流 意愿不足、语言和沟通障碍。 数据安全风险增加 随着知识信息量的不断增加，信息安全风险也不断增加，企业的核心知识和敏 感信息在知识管理过程中可能泄露 大模型赋能知识应用优势 知识应用市场挑战 知识应用认知不足 停留在较层次的文档管理，限制了知识应用的潜力和范 围，导致客户缺乏场景和动力扩大知识管理软件的应用 规模 知识管理市场处于起步阶段 企业应用场景主要集中于文档管理和检索，局限于显性 知识，无法形成知识定义、知识获取、知识存储、知识 共享和知识使用的完整体系。 市场缺乏生态体系 市场仍处于发展初期，尚未形成通用的行业标准化方 案、稳定的市场格局和成熟的生态 数据解析 非结构化数据多源整合 知识识别&存储 数据结构化&向量化，支持知识高效提取、统计、归纳等 知识查看&验证 面向业务应用需求以场景为中心检验数据质量 人机交互创新 智能体群体协作，辅助客观分析、诊断洞察、关联推荐 数据资产沉淀 提升运营效率，重构底层框架，架构可延展更新成本低

17. 总体技术框架： 三个步骤、两个算法、一个平台 3 • 学： 各类文档中的显性知识 • 用： 业务专家的先验知识 • 教： 行为日志中的隐性知识 2 • 定位： 任务定位，打开大模 型黑箱 • 微调： 数据有限的状态下做 性能提升 1 • 应用模板： 缩短验证周期 • 组件集市： 避免重复造轮子 • 低代码平台： 降低创新门槛

18. 三个步骤： 提升知识利用效率、辅助知识自动更新 学 用户 • 多模态非结构化数据的解析 多模态文档的 显性知识 用 员工 • 高质量多样性数据的筛选 • 通用大模型的能力剖析 • 领域大模型的高效微调 多模态交互 助手 提示 用 业务专家的 先验知识 提示模板 • 专家经验的可配置化 • 幻觉检测与消除 专家 教 学 • 音视频全媒体衔接 大数据处理 教 行为日志中的 隐性知识 指令数据集 领域知识库 • 业务指标数据闭环 领域微调 • 人机协作流程设计 • 合规加训 数据过滤筛选 音视频解析 人类反馈

19. 两个算法： 打开大模型的黑箱、提升领域专业性 NLP任务定位与协同增益图 分层微调与知识注入 显性知识领域SFT h jt 独创分层 LoRA l大模型的CT机：打开大模型的 B 1 jt A 1 jt Pre- trained Weights w 0jt B 1 jt A 1 jt … … B i jt A i jt B i jt A i jt … B N jt A N j jt Route w r rjt 黑箱，标注出各类NLP任务在模 Route w r rjt l大模型的精微调算法：通过分层 型中的“脑区” j … B N jt A N j jt j LoRA技术，大幅提升微调效 果，并且所需数据量更小、算力 B 1 jt A 1 jt … B i jt A i jt … B N jt A N j jt x 更少、学习效率更高。 Route w r rjt j 隐性知识RLHF 基于反馈持续优化迭代 4 3 2 1 data Match Model Rerank Model

20. 基于大模型的企业智能，数据是核心资产 通用大模型 • 数据：多样、万亿级 • 算力：万卡天量级 • 策略：预训练，通用 领域大模型 数据 → 知识 → 资产 • 数据：高质、最小必要 • 算力：十卡天持续学习 • 策略：专业、经济、安全 流程 提示词 智能体 直觉 系统 逻辑 系统 领域大模型 指令数据集 领域资料库

21. 知识助手带来的知识应用新范式， 打通“最后一公里” ChatPilot大模型知识助手 内容抽取/总结 文档/数据库问答 网络搜索问答 智能文档管理 唤醒企业知识财富、赋能10亿知识工作者 解决时效降低60% 降低人力50% 20%+销售业绩 70+运营效率 研发速度提升30+ 检索效率提升50% 数据利用率提升50%

22. 基于知识引擎的金融大模型应用实践 • • • 大模型在金融业务场景下应用的趋势和挑战 大模型驱动知识应用新范式 基于知识助手基座的大模型金融领域应用实践

23. 基于知识引擎基座的金融场景解决方案 投顾助手 行情分析 产品推荐 领域 知识 方案匹配 投后追踪 研报助手 培训助手 推荐话术 客情维护 材料识别 快捷查询 模块对练 市场趋势 分析 市场趋势 解读 客户特点 分析 多模提取 混合模型 人机协同 学员画像 个性脚本 智能打分 客户需求 分析 产品反馈 分析 产品竞争 力分析 大小模型 对话质检 资料质检 资产组合 市场咨询 质检助手 用户画像 金牌话术 学习材料 研报资料 员工画像 市场数据 法律法规 历史结果 公司规章 历史结果 知识引擎 多模态数据解析 全链路调优工具 原子组件 全环节模型优化 能力沉淀 客户 AgentGraph Model hub 多样性模型选择 自由组件流程编排 数据 领域模型工厂 场景 能力 业务 场景

24. 投顾助手

25. 基于大模型的智能投顾助手是发展的 必然趋势 Ø传统智能投顾助手因技术路线能力天花板较低，基于大模型的智能投顾助手将成为智能投顾行业新范式 投顾方式 智能投顾 基于大模型的智能投顾 财务报表等结构化数据 除结构化数据外，还包括舆情、金融新闻等非结构化文 本 包括结构化、非结构化文本数据及音视频等多模态数 据 数据获取方式 金融终端、财报 金融终端、数据爬取、信息抽取 金融终端、数据爬取、信息抽取、联网搜索 数据处理方式 专业人员手工分析 专业人员手工分析：自然语言处理、知识图谱等人工智 能技术支持 能够处理大规模、高维度的数据，包括历史市场数据、 宏观经济指标、行业报告等。 更可控的内容生成 人工处理数据，效率较低 依靠人工智能在数据处理方面的优势，投研人员在短时 间内可以处理大量基础工作，决策效率较高 实时分析海量数据，并迅速做出决策，提高了投资决 策的效率。 更全面的实时数据 取决于投研人员自身的专业 水平与所掌握的信息 积累大量行业及市场数据，通过知识推理辅助决策，提 高了决策准确性 利用强化学习等技术进行自我优化和迭代，不断提升 决策的质量和准确度。 更生动的表达形式 数据格式 决策效率 决策准确性 传统投顾 更专业的投顾建议 更强大的语义理解 新一代 LLM投 顾助手 Ø专业客户经理人数不足，智能投顾行业需求持续上升，推动智能投顾市场规模呈现逐年递增趋势 我国2022年市场投资者数量共计21213.62万，而投资顾问人员 仅有74570位。理论上计算，每位投资顾问需要服务2943位A股 投资者，才能覆盖庞大的客户群体。 智能投顾行业随着科技发展近年来用户数量与资产管理 规模急剧增加已进入成熟期，预计2027年资产规模将达 到4.66万亿美元

26. 后期扩展：AI财富助手 — 买方财富管理业务转型助手，深度KYC、产品学习、资产 配置、全周期陪伴 客户 经理 展业 获客陪伴 ü行情解读 ü研报精炼 ü资讯播报 意图识别 ü投资目标 ü客户偏好 ü交易习惯 熟识产品 ü亮点提取 ü话术生成 ü精确筛选 投顾服务 资产配置 学习提升 ü股票咨询 ü产品推荐 ü交易策略 ü投资组合 ü家庭配置 ü养老目标 ü产品培训 ü情景演练 ü素质评测 一站式调用财富管理全链路能力，对话交互新范式 资产配置引擎 知识素材库 投研报告 资讯新闻 统一对话式交互入口 产品资料 AI财富助手 路演材料 AI中台AgentGraph 流程画布 大模型意图识别 沟通话术生成 产品亮点总结 研报新闻综述 决策引擎 异构模型调度 调度引擎 AI组件 模型微调 客户数据及营销 客户标签 组合优化 回测引擎 配置报告 智能陪练 Agent小模 型 合规政策 知识掌握 能力考核 场景模拟 客户、产品、员工联动 KYC 埋点数据 Prompt生成 收益归因 营销行为 全量筛选 KYP KYE 产品管理 员工绩效 推荐话术 亮点总结 产品销量 任务完成 业绩绩点

27. 培训助手

28. 知识管理场景——智能陪练 Why 大模型推动AI培训全流程变革 语义理解 内容生成 大模型 逻辑推理 需求分析 与课程设计 培训内容生成 与知识管理 学习效果评估 与反馈改进 智能教学交互 与实践训练 数字人智能陪练平台 What 知识泛化 培训管理 与数据洞察 规划总结 培训材料 大模型、小模型混合模型架构 小模型对练 优秀导师配置高频、易出错 的对话流程，推送学员对 练，再通过NLP相似度和关 键词等进行实时评分 自动生成对练脚本 How 大模型对练 根据行业场景设置大模型扮 演角色，覆盖面更广，场景 更丰富，多轮对话自然流 畅，复刻真实对客场景 落地效果 40 % 培训时长缩短 31.3 % 过度承诺违规率降低 智能数字人陪练 Benefit 9.6 % 客户信息泄露违规率降低 某头部金融机构，使用大模型陪练大幅提升新人培训效果

29. 投研助手

30. 投研助手 通过分析平台来快速获取所需市场、产品、客户等内外部数据，结合这些数据不仅可以 判断市场情况，还能通过对话的方式，让大模型进行市场及投研的分析。 市场趋势分析 分析师可以询问当前市场 的整体趋势和各类关键指 标数据,判断市场趋势 市场趋势解读 借助大模型的领域知识能 力,可以帮助分析师,进一步 解读当前的市场情况 客户特点分析 分析师可以通过大模型 对客户的会话、行为数 据分析,了解当前客户的 整体特征 客户需求分析 分析师可以直接获取到 来自一线客户的真实需 求,以及需求背后的原因 产品反馈分析 分析师可以消费者对不 同产品不同角度的偏好 及具体的产品反馈 产品竞争力分析 借助大模型对竞品的数 据分析,帮助分析师判断 产品的市场竞争力

31. 研报分析 -支撑话术生成、报告解读 每日批量处理 抽取观点 抽取关键字 研报分析

32. 报告写作场景 — 尽调报告、投研报告 目标：基于给定的素材，按照特定的报告模板生成内容，并可在界面内智能的对报告内容进行扩写、润色、续写等功能，辅助员工 提升写作效率，减少在写作场景的工作投入。 信息输入 内容解析 OCR解析： 营业执照、财报、身份 证、其他各类票据信息， 并抽取内容。 私域文档内容及观点抽 取： 合同、分析报告、行研 报告内容、观点抽取。 公域数据内容及观点抽 取： 热点资讯、市场行情、 企查查信息等。 大模型能力 内容理解 要素抽取 内容生成 内容生成 输出报告 Prompt报告模板训 练： 1、文档结构； 2、各部分内容侧重 点； 3、内容丰富度。 + 大模型内容补 全、生成能力 AI能力（OCR） 版面解析 信息抽取

33. 质检助手

34. 安全合规场景 — 合规质检 Why 企业安全合规，面临全新挑战 What 新一代合规质检平台 多模态素材 内容提取 混合模型合规排查 人机协同内容审核 行业通用标准:采用大模型智能检查 监管政策日趋严格 待检数据量大 合规排查 文本内容提取 提升服务刻不容缓 规则不统一 素材内容 素材要素提取 小模型负责声音/画面/素材的基础数 据质检, 承担高频易检的场景 运行成本低 处理速度快 结果无偏差 大模型质检 大模型负责低频难检的内容,以及为质检结 果提供判定原因,辅助人工快速复审 考虑面更广 上下文理解 样本依赖小 语法检查 企业业务标准:使用小模型精准检查 禁用信息检 查 必要信息排 查 How 大模型、小模型混合场景训练 小模型质检 体验评估 样式排版检 查 禁用信息提示 必要信息提示 人工快速审核 Benefit 落地效果 85 % -98 % 80 % 全量违规检出准确率 严重违规质检召回率 1 千倍 智能较人工检测效率 某头部金融机构，使用混合模型质检平台，全面提升质检效果，大幅 降低人工检测成本

35. 合规助手 — 用LLM约束LLM，为大模型应用保驾护航 基于大模型能力，将法律法规、行业规范、公司规章等非结构化文本内容构建为质检 点，并利用大模型对文本内容、对话内容进行合规监控，构建金融领域完善合规能力。 法律法规 行业规范 公司规范 ChatGLM_Fine tune

36. 中关村科金微信公众号 免费试用申请