大模型在融合通信中的应用实践

如果无法正常显示，请先停止浏览器的去广告插件。

1. 大模型在融合通信中的应用实践网易云信周梁伟

3. 关于我们融合网易二十余年数字化与智能化技术积累和经验沉淀，面向娱乐、社交、零售、金融以及游戏等行业，提供数字内容风控、融合通信和云原生 PaaS 、服务营销一体化、全链路数据开发治理及分析、应用智能开发等解决方案，已累计服务超过百万家企业客户。 AI 内容检测即时通讯七鱼智能客服数据开发与治理平台全栈低代码开发平台智能风控视频云智能洞察有数BI 智能开发助理实名核验短信安全加固轻舟微服务指标平台安全咨询服务轻舟中间件 ChatBI 私域增长大数据基础平台软件资产市场

4. 目录 01 云信PaaS架构 02 应用场景 03 解决方案和落地模式

5. 云信PaaS产品架构娱乐社交行业与场景 APP 支撑能力 SDK/API/UIKit 教育医疗金融协同办公 1对1 语聊房大小班线上问诊金融双录 OA协同企业培训游戏社交直播智慧校园专家协同虚拟营业厅视频会议客服单聊群聊聊天室圈组高质音频实时视频直播互动文本语音文件图片 AI 降噪智能美颜虚拟背景超分辨率内容安全视频表情位置自定义消息美声变声稳定易用的通信与视频生态合作融合通信服务 PaaS服务 IM即时通讯短信信令音视频通话直播互动直播点播互动白板安全视频处理 LLM PaaS 平台实施 WE-CAN 全球实时通信网络基础网络 RTC-音视频通话通信网络 8年+ 稳定服务 IM-即时通信网络百万开发者直播-流媒体分发网络 2万亿消息

6. PaaS+LLM 融合业务流程的本地部署实施 PaaS + LLM 基于多年即时云通讯服务建设经验，第三方垂类大模型结合对千行百业的落地场景实施理解，调研客户在协同办公、客服、营销、社交等场景需求，整合集团内部优质领域数集训练工具链定向场景训练业务私有数据集训练人才资源，面向企业开发者提出的低门槛低成本，安全可靠的“通讯场景 +LLM”的解决方案面向AI定制的IM通讯服务

7. 应用场景行业细分娱乐社交资讯类客服在线教育办公协同游戏/社区电商/物流提供商品详情、售后流程、职能服务、自助业务流等标准化问询、辅助答疑场景服务支撑降本提效营销类客服场景应用面向电商、游戏社区，基于用户访问路径和市场营销活动，提供精准推介，精准营销，促流量转化虚拟世界-群聊互动助力小说/漫画/动漫影视平台，搭建虚拟世界群聊空间，让用户与原创作者预设角色在私有群聊中互动社交AI聊玩法创新产品革新单聊中，无需提前建立群/好友关系，两人互动时随时@数字人参与互动沟通，缩减用户交互路径 Ai划词搜索论文索引文辞润色文辞润色多国语言翻译会纪总结代码文本解释代码文本解释应用工具效能支撑丰富功能

8. 应用场景 - 客服 …… 传统客服面临诸多问题 01 知识库维护成本高传统客服知识库维护成本高，新的产品上线后，往往需要相关人员手动更新校对源数据集，再结构化、更新不及时，使得机器人客服应答准确率低 02 用户意图把握难用户提问的方式和话术多样，针对一个问题问法＆习惯不同，导致语义识别的难度高，且传统客服缺乏上下文持续学习，使得机器人客服难以准确抓住意图、答非所问 03 历史信息查阅繁琐多次用户会话导致历史消息无法接续，客服人员需要反复查阅过去信息，效率低下用户这个问题啥意思？知识库里找不到答案

9. 应用场景 - 客服 AI数字人客服将革新传统客服系统用户咨询问题自动化知识库搭建机器人客服提问意图精准识别知识库实时更新结构化问题意图识别多样性 IM+AI引擎企业知识库基座 AI聊群客服人工客服应答助理实时对话分析

10. 应用场景 - 客服自动化知识库搭建用户沟通消息历史企业知识文档将历史对话消息或知识库导入向量数据库，会自动抽取相关问题对答，并结构化呈现，支持手动导出、修改、删减等，帮助运营快速构建＆更新知识库。成功插入到RAG知识库消息对答抽取文档直接投喂

11. 应用场景 - 客服精准识别提问意图上下文识别意图增强索引 RAG知识库通过对上下文的分析，持续跟踪用户提问诉求并做出精准应答，保证对话连贯性；检索失败意图推送检索成功输出答案 LLM 意图识别后会推送给知识库和模型共同分析，并根据结果选择匹配答案或生成答案？答案生成 AIGC 生成式对答上下文追溯生成式回答

12. 应用场景 - 客服人工服务持续提效随着对话推进，AI助理会实时给出答案建议，人工客服可以选择是否插入相关答案对话框里的内容可以润色文风，更加亲和干练插入的答案可以支持再次打标，以反哺知识库训练回答建议文风润色消息打标

13. 应用场景 - 客服人工与AI无缝协同在人工对话中，单聊场景，都可随时@出AI，帮你回答问题，大幅减负提效需要多角色客服协同时，如销售客服无法解决技术问题，期 @AI小可帮忙回答下抱歉，不可以延期了啦，您可以续课3天，1个月，3 个月哦，价格分别是xxx，xxx，xxx 望拉入技术售前一同解答，亦可在群聊中提供多角色+AI的服务，通过转发历史消息让AI延续会话历史 AI聊群客服

14. 应用场景 - 客服营销场景再升级传统客服营销繁琐的触达过程：留资->加好友->了解需求->客群分类->私域推送->问询需要算法推荐触达率低：成本高企的算法构建&较短的推荐链路电商渠道 80后职场女性 AIGC营销客服杭州高消费多样式展示营销信息富文本交互缩短转化路径持续对话进行营销推荐

15. 应用场景 - 虚拟世界群聊互动小说漫画动漫虚拟角色虚拟世界观构建仙境沉浸体验互动哈利魔法用户与好友互动平台粘性增加刘姥姥大观园传统文创平台静态的内容新兴文创平台动态生成内容多点用户服务互动式生成内容单体用户服务强社交属性

16. 应用场景 - 社交AI聊天单聊互动参与互动群聊互动一键@数字人参传统社交软件交互好友单聊中无法引入AI 很强的割裂感群聊中需要额外建关系额外的C端用户交互路径动互与融合AI的社交软件交互精简交互互动感增强会话消息上下文平滑承续用户与AI协同多样化、新颖化

17. 难点挑战 01 02 03 04 训练难选型难找数难业务融合难企业开发者需要从零开始学习针对特定行业/领域场景，如优质体验的AI服务，来源于优深度融合业务AI，才是好用的大模型的训练方法/策略，了何选择贴合自身业务所需的垂质的数据集，匹配行业/领域 AI，云信会贴合具体的业务情解如何针对特定场景做好海量类大模型，需要对千百种大模特征的数据集，短时间收集合况，定义数据互通方案，如何数据标记，学习训练工具的使型进行深度调研，并理解自身适的“大规模”的数据也是一个将数据以特定的结构投喂AI，用方法等业务特性，保证选型精准，避门槛使LLM的定向学习免后续引入切换成本

18. PaaS + LLM架构 SDK及操作台低门槛集成的IM+AI能力的UIKit SDK 提示词管理、文档资料自助上传、IM账号生成平台向量数据库云信精调过的海量行业数据集业务数据结构化转置脚本企业私有资料库/文档企业业务系统关联的数据库 IM历史消息数据第三方插件工具集绘表插件绘图插件日期/气象插件 Qwen系列 baichuan 声音/文字转置插件更多自定义/第三方插件深度调研的大模型 LLaMA 2 DeepSeek MoE 网易自有的垂类LLM 更多... 支撑资源/服务本地部署的算力平台（GPU加速服务）本地部署的数据存储服务即时通讯云服务内容合规安全审核服务

19. 优势亮点丰富的IM行业场景实施经验沉淀细分场景的脱敏精修大数据积累大量垂类模型调研信息积累融合度更高的IM 底层能力云信SDK/API已累计接入全球180万作为消息对话通讯服务厂商，云信已当前市场大模型百花齐放，数千种大作为IM厂商，云信已提前规划针对企业开发者，覆盖终端超224亿，对成功发送2万亿条消息，面向对话式模型眼花缭乱，云信结合多年对行业 Ai的IM底层能力融合工作，包括消息各行各业的场景落地有较其他厂商更 LLM，脱敏精修过的消息类大数据为场景的深刻理解，定向聚焦推进市场流式打印，第三方大模型消息互通、深刻的理解，在支撑企业完成低成特定场景下的大模型训练提供有力保上通用大模型，垂类大模型的调研工 AI聊等，旨在交付开发者功能融合度本、高安全、高体验的IM+AI的创新证；从AI热点发酵以来，云信通过多作，摸底不同别类的模型特性优势，更高的产品能力，保证用户最佳体探索上有丰富的行业经验优势种合规渠道，持续丰富自己的场景数积累了在不同场景下应用哪种模型更验，企业更低的集成研发成本据集，旨在为客户落地更好的AI体验贴合业务需要的前置信息

20. 优势亮点 AI应答 AI应答 IM消息传统架构 IM消息上下文上下文 LLM 每次请求串联大量重复消息浪费token成本无法支撑AI在多用户海量互动下的场景化应答无法关联其他用户的消息互动作为上下文用户A的语料无法给用户B复用，也无法沉淀 LLM 对比 AI应答云信架构 LLM IM消息问询按消息结构定义分块策略 AI应答 IM消息从云端服务器实时向量化嵌入问询+场景上下文索引将海量IM消息向量化，并场景化分层问询 LLM

21. 优势亮点海量IM数据向量化解决当下场景的问题通过聊天室构建小说剧本虚拟世界强化AI 场景化应答效果目标场景强化 AI应答语料储备单个聊天室用户互动发生的历史故事可被永久延续解决问题在客服沟通中提供更合理的应答建议应答建议可持续自动优化通过人工客服记录自动储备索引语料

22. 优势亮点 IM终端用户产生海量历史消息数据大模型训练师基于行业场景垂类大模型选型结构化转置大模型专家批量标注行业特征数据 Embedding 向量数据库大模型训练师模型微调训练索引增强贴合业务的定制大模型

23. 功能示例 Toast 集成AI工具聊天工具窗集成AI工具数字人结合用户访问路径数据精准营销社交沟通中单聊等任何场景快速Q数字人互动辅助

24. 功能示例操作台提供现成的场景配置模板简易上手的自助AI能力定义配置流程

25. 交付策略方案 PaaS部署方式 LLM部署方式优势说明 01 私有化私有化数据更安全，业务健康可控性更高 02 专属云私有化服务资源拓展更容易，无需管理物理机 03 公有云私有化业务快速部署落地，数据资产更安全 04 公有云公有云业务快速部署落地 01 02 03 04 05 提供业务落地成本控制方案设计交付配套SDK及操作台训练师按调试打磨提供AI定义和功能拓展培训指导提供长期运维辅助和支持

26. 深入客户场景发挥核心优势生态共建落地 Thanks！