突破参数知识边界：自增强优化的检索增强大模型技术

如果无法正常显示，请先停止浏览器的去广告插件。

1. 突破参数知识边界：自增强优化的检索增强大模型技术庞亮

2. 01 RAG 的技术背景与核心挑战 02 在信息检索视角下构建用户反馈优化的 RAG 实例 03 在大模型视角下高效利用外部知识的 RAG 实例 04 未来方向与行业启示目录

4. RAG 01 的技术背景与核心挑战

5. What ：检索增强大模型 Retriever 问题 Generator 信息检索文档列表外部语料库大语言模型问题经典的检索增强生成的流程答案

6. 知识边界的定义 Model-Agnostic Unknown Knowledge Model-Specific Unknown Knowledge Prompt-Sensitive Known Knowledge Prompt-Agnostic Known Knowledge 三种知识边界 ❑ 外部知识边界（Outward Knowledge Boundary） ❑ 参数化知识边界（Parametric Knowledge Boundary） ❑ 通用知识边界（Universal Knowledge Boundary）四种类型的知识 ❑ 提示无关的已知知识 Prompt-Agnostic Known Knowledge (PAK) ❑ 提示敏感的已知知识 Prompt-Sensitive Known Knowledge (PSK) ❑ 模型特定的未知知识 Model-Specific Unknown Outward Knowledge Boundary ❑ Parametric Knowledge Boundary Universal Knowledge Boundary Knowledge Boundary of Large Language Models: A Survey, ACL 2025 Unveiling knowledge boundary of large language models for trustworthy information access, SIGIR 2025 Knowledge (MSU) 模型无关的未知知识 Model-Agnostic Unknown Knowledge (MAU)

7. 参数化知识边界（Parametric Knowledge Boundary Model-Agnostic Unknown Knowledge Model-Specific Unknown Knowledge Prompt-Sensitive Known Knowledge Prompt-Agnostic Known Knowledge Parametric Knowledge Boundary ） ❑ 参数化知识边界，定义了某个特定 LLM 的抽象知识边界. ❑ 位于该边界内的知识是指：其已被模型参数所掌握，并且能够通过𝑄 𝑘 中至少一个表达式进行验证的知识.

8. Why ：知识融合的角度利用信息检索连接外部知识库和大语言模型的参数内知识问题信息检索文档列表外部语料库知识外部语料库问题内部参数知识大语言模型生成内容

9. How ：检索增强大模型的研究路径 ① 信息检索的视角 ② 大模型的视角 Retriever 问题 Generator 信息检索 Document List 外部语料库问题大语言模型答案

10. 02 在信息检索视角下构建用户反馈优化的 RAG 实例

11. How 1：检索视角下的检索增强大模型传统的信息检索模型针对人类用户优化，那什么是适合大语言模型的信息检索模型？ Constraint in Text Rep. for Dense Retrieval 需求①：任务泛化性应用任务纷繁复杂 ➢ Constraint 1: Semantic Unit Balance ➢ Constraint 2: Essential Matching Unit Extractability

12. How 1：检索视角下的检索增强大模型传统的信息检索模型针对人类用户优化，那什么是适合大语言模型的信息检索模型？需求②：信息精准性 𝑶(𝑵 𝟐 ) Ranking List Ranking Reranking Truncation 计算代价指数级 Re 2 G Ranking List GenRT

13. 但流量入口的战争仍旧劣势 2024 年，人工智能聊天机器人仅占据 2.96% 的搜索流量。为什么生成式人工智能搜索引擎尚未达到传统搜索引擎的规模与成就？ [1] Image source: OneLittleWeb

14. 检索增强生成的数据飞轮没有转动模型大算力大数据大？需求①：任务泛化性需求②：信息精准性需求③：持续可优化 𝑶(𝑵 𝟐 ) 应用任务纷繁复杂计算代价指数级模型反馈信号缺乏

15. 传统信息检索的数据飞轮（Data Flywheel ）搜索引擎（Search Engine）反馈信号：停留、点击、转化微软/Bing 需要一个强大的搜索飞轮，更多查询→更好的模型和更好的信号（点击量、满意度、下游转化率）→更好的结果→ 更多查询推荐系统（Recommender System）反馈信号：停留、点击、转化、完播、点赞 TikTok的算法会采集1000多个信号，快速的信号积累（短视频、大量互动）可带来非常快速的模型更新和强大的个性化循环，从而快速提升参与度

16. 检索增强生成的数据飞轮卡在哪里？如何为生成式 AI 搜索重建用户反馈生态系统？优势：劣势：直接答案：减少手动页面跳转操作稀疏的用户反馈：数据飞轮会受影响端到端解决方案：一步完成复杂任务更难的错误归因：无法明确是哪个流水处理线环节出现了问题 NExT-Search: Rebuilding User Feedback Ecosystem for Generative AI Search, SIGIR 2025, Positional Paper 16

17. NExT - Search ：方法主动式：用户调试模式（User Debug Mode） • 积极引导用户参与多阶段反馈与干预。被动式：影子用户模式（Shadow User Mode） • 利用个性化智能体模拟用户偏好并提供反馈。

18. NExT - Search ：用户调试模式（User Debug Mode ）

19. NExT - Search ：影子用户模式（Shadow User Mode ）若用户偏好最少化交互，该如何应对？采用个性化用户智能体模拟用户行为，并生成 AI 辅助式反馈

20. NExT - Search ：个性化用户智能体智能体的作用是什么？ ◼ 从过往交互中学习用户偏好 ◼ 在用户未干预时生成 AI 辅助式反馈每位用户对应一个智能体，其会随用户偏好持续进化 20

21. NExT - Search ：双反馈模式的协同作用双模式，互补角色用户调试模式（User Debug Mode）影子用户模式（Shadow User Mode） ◼ 精细化、高质量的人工反馈 ◼ 通过用户模拟实现的 AI 辅助式反馈 ◼ 用户在子查询、检索及回答阶段介入 ◼ 从过往行为中学习，降低交互负担 ◼ 支持完全掌控，但需付出更高的操作成本 ◼ 借助可信赖的智能体逐步替代人工介入协同作用与影响 ◼ 无论是人工交互还是模拟交互，每个会话都会产生反馈 ◼ 调试模式 = 高价值但稀疏的信号，影子模式 = 可规模化的信号 21

22. NExT - Search ：激励用户参与挑战 • 用户深度参与调试耗时费力，激励机制至关重要。反馈商店（Feedback Store）一个供用户进行以下操作的平台： • 提供可复用的调试模板 • 获取奖励（按使用次数、曝光量或基于表现发放） • 购买他人模板以节省时间激励贡献行为，实现复用价值，重建以反馈为驱动的搜索生态系统 22

23. NExT - Search ：利用用户反馈 • 在线适配（Online Adaptation）：在当前会话内，基于用户反馈实时优化响应内容 • 离线更新（Offline Update）：通过累积的用户日志驱动模型重新训练，强化自改进式飞轮 23

24. 03 在大模型视角下高效利用外部知识的 RAG 实例

25. How 2 ：大模型视角下的检索增强大模型大模型如何鲁棒地对抗输入的噪音知识，并在参数内外知识之间做出选择 ① Pretraining阶段 – Next Token Prediction ② Instruction Tunning阶段 – Multi-task Learning ③ RLHF阶段 – Alignment 利用检索到的信息（没有特殊优化）

26. 大模型视角下的研究现状通过微调来对齐大语言模型在检索增强生成中的能力 ◆ 有监督指令微调：在领域特定数据集上构造检索-问题-答案三元组，利用构造的有监督三元组进行指令微调，教会大模型如何使用检索到的文档。如FID，均需要有监督的数据 RetRobust 。 ◆ 动态检索增强生成微调：微调大语言模型使其主动进行动态决策，判断是否进行检索增强生成，如 Active-RAG，Self-RAG，Rowen。有监督的数据是否是必须的？

27. 视角一：构建无监督数据和任务

28. INFO - RAG ：无监督检索增强训练构建检索增强生成（RAG）的自监督任务：信息抽取、信息纠正和信息提供信息抽取信息纠正没有内部知识部分内部知识 Prefix Suffix 存在内部知识 Extract One Sentence Extract One Sentence Extract One Sentence Prefix 信息提供 Suffix Prefix IR Prefix Suffix IR Suffix Prefix Prefix Suffix IR Random mask and replacement Sentence elimination Prefix Prefix Suffix Prefix Prefix Suffix Suffix Suffix Q Suffix Suffix Suffix Q Q Prefix Prefix Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation. The 62nd Annual Meeting of the Association for Computational Linguistics (ACL'24)

29. INFO - RAG : 方法所有正确答案都包含在检索到的文本中，大模型只需从中提取即可信息抽取 Information Extraction Extract One Sentence Prefix Suffix Prefix Suffix External Knowledge 没有内部知识 question Training task IR Prefix Extract sentence from the document and split them into prefix and suffix Suffix Suffix Q Prefix

30. INFO - RAG : 方法检索到的文本只包含部分答案，甚至可能包含一些错误的答案，需要由大模型进行纠正和补充 Extract One Sentence 信息纠正 Information Correction Prefix Suffix Prefix Suffix External Knowledge Training task 部分内部知识 IR Random mask and replacement Prefix Extract sentence from the document and split them into prefix and suffix. Suffix Suffix question Q Prefix

31. INFO - RAG : 方法这些检索文本只是与问题在语义上相关，大模型需要借助这些信息激发其参数内的知识来完成回答 Extract One Sentence 信息提供 Information Providing External Knowledge Training task 存在内部知识 question Prefix Suffix IR Suffix Sentence elimination Prefix Extract sentence from the document and split them into prefix and suffix. Prefix Suffix Suffix Q Prefix

32. INFO - RAG ：方法 20% 40% 40% (a) 从维基百科文档中将文档片段构造成给定prefix和prefix相关的上下文来预测target的无监督样本对 (b) 将这些无监督的样本构造出对应三种场景的任务形式 (c) 混合三种场景的任务进行无监督多任务训练

33. INFO - RAG ：实验 INFO-RAG做为一种无监督训练方式可以应用到现存的大模型中并进一步提升其在各个任务上检索增强的能力

34. INFO - RAG ：实验 INFO-RAG对于三种检索增强的场景都有明显的提升对检索文档中的噪音具有较强的鲁棒性

35. 视角二：探索模型内部知识选择机制

36. Tok - RAG ：可解释检索增强生成探索模型内部参数知识与外部检索知识的融合过程：语义理解、语义匹配和分布融合语义理解 𝑝(𝑥 𝑖 |𝑥 1:𝑖−1 ) 从大语言模型预训练的知识分布中采样隐变量语义匹配知识融合 A Theory for Token-Level Harmonization in Retrieval-Augmented Generation, ICLR 2025 分布融合 𝑝 𝑅 (𝑥 𝑖 |𝑥 1:𝑖−1 ) 从检索到的文本概率中采样

37. Tok - RAG ：基本理论框架理论基础：大语言模型的文本生成过程是隐式的隐变量推断给定前缀，预测当前token的分布基于采样隐变量的分布预估隐变量采样引入外部检索隐变量 𝑧 ∗ 分析框架：利用隐变量推断来分析大语言模型RAG的知识融合过程

39. Tok - RAG ：理论 𝑝(𝑥 𝑖 |𝑥 1:𝑖−1 ) 𝑝(𝑥 𝑖 |𝑥 1:𝑖−1 , 𝑅) 𝑝 𝑅 (𝑥 𝑖 |𝑥 1:𝑖−1 ) 内部参数分布不加检索下一个词的概率内部参数分布加检索下一个词的概率外部检索分布下一个词的概率 S 1 = Sim(𝑝 𝑥 𝑖 𝑥 1:𝑖−1 , 𝑝 𝑥 𝑖 𝑥 1:𝑖−1 , 𝑅 ) > S 2 = Sim(𝑝 𝑅 (𝑥 𝑖 |𝑥 1:𝑖−1 ), 𝑝 𝑥 𝑖 𝑥 1:𝑖−1 , 𝑅 ) 检索带来的分布变化的小变化来自检索分布的比例小不使用检索

40. Tok - RAG ：理论 𝑝(𝑥 𝑖 |𝑥 1:𝑖−1 ) 𝑝(𝑥 𝑖 |𝑥 1:𝑖−1 , 𝑅) 𝑝 𝑅 (𝑥 𝑖 |𝑥 1:𝑖−1 ) 内部参数分布不加检索下一个词的概率内部参数分布加检索下一个词的概率外部检索分布下一个词的概率 S 1 = Sim(𝑝 𝑥 𝑖 𝑥 1:𝑖−1 , 𝑝 𝑥 𝑖 𝑥 1:𝑖−1 , 𝑅 ) < S 2 = Sim(𝑝 𝑅 (𝑥 𝑖 |𝑥 1:𝑖−1 ), 𝑝 𝑥 𝑖 𝑥 1:𝑖−1 , 𝑅 ) 检索带来的分布变化的大变化来自检索分布的比例大使用检索

41. Tok - RAG ：方法 𝑤 𝐿𝐿𝑀 : 𝑝(𝑥 𝑖 |𝑥 1:𝑖−1 ) 𝑤 𝑅𝐴𝐺 : 𝑝(𝑥 𝑖 |𝑥 1:𝑖−1 , 𝑅) 𝑤 𝐼𝑅 : 𝑝 𝑅 (𝑥 𝑖 |𝑥 1:𝑖−1 ) S 1 = cos(𝑤 𝑅𝐴𝐺 , 𝑤 𝐿𝐿𝑀 ) S 2 = cos(𝑤 𝑅𝐴𝐺 , 𝑤 𝐼𝑅 )

42. Tok - RAG ：实验在实际的开放域问答任务的检索增强生成中，X-RAG不需要借助额外的模块或训练LLM，便能够超越主流的鲁棒RAG框架及训练方法，如RetRobust，INFO-RAG，Self-RAG等

43. Tok - RAG ：实验在判断token级别的正确性方面，X-RAG超越了目前主流的基于对数概率，不确定度以及自一致性的幻觉检测方法。

44. 04 未来方向与行业启示

45. 信息流动的角度搜索引擎 + 大语言模型 → 搜索引擎 x 大语言模型搜索引擎大模型索引 ① 分布式信息大语言模型 ② 原生态信息 Search-in-the-chain: Interactively enhancing large language models with search for knowledge-intensive tasks, WWW 2024 ① 集中式信息 ② 加工态信息

46. 信息压缩的角度更好的利用大语言模型内部压缩的大量信息从大语言模型中抽取检索稠密向量效果更好 Following the autoregressive nature of llm embeddings via compression and alignment, EMNLP 2025 隐式推理的效果逼近显式推理 Latent Reasoning in LLMs as a Vocabulary-Space Superposition, Arxiv 2025

47.

48. THANKS 突破参数知识边界：自增强优化的检索增强大模型技术