AI工程:RAG
企业级基于DeepSeek模型的RAG系统,保姆教程来了!
Datawhale开源项目happy-llm更新了建筑文档智能RAG审查系统,帮助开发者理解知识引导检索在建筑文档审查中的应用。系统通过动态语义分块和生成式知识引导检索,提升了审查的准确性和效率。项目详细介绍了从LLM模块到文档预处理模块的实现步骤,并展示了如何通过智能化问询生成和知识引导检索来识别文档中的合规性问题。源码已开源,供开发者参考和扩展。
LLM 系列(十):RAG 番外篇-向量检索
向量检索技术从关键词匹配演进到语义理解,通过稀疏检索(TF-IDF、BM25)与稠密检索(Embedding、ANN)的结合,实现高效精准的信息匹配。HNSW和IVF是ANN算法的代表,混合检索和多级检索策略进一步提升系统性能。优化索引参数、查询处理和引入反馈机制,可显著提升召回精度,构建智能检索系统。
Embedding无敌?是做文档处理RAG最大的幻觉(含LangExtract+Milvus教程)
Claude Context提升了代码检索效率,但无法完全替代grep。实际应用中,embedding、全文检索等技术需结合使用。谷歌LangExtract擅长从非结构化文档中提取结构化信息,Milvus则擅长语义相似度检索。两者结合可构建智能文档处理系统,适用于法律、医疗等场景。通过LangExtract提取信息并存入Milvus,可实现语义搜索和精确元数据过滤,提升检索效果。
深入聊聊RAG
RAG技术从文档分块到检索重排全链路拆解:语义分块优化内容结构,索引增强结合HyDE提升相关性,混合搜索平衡关键词与语义匹配,交叉编码器精准重排。核心在于平衡召回率与精确率,针对场景调优各模块,实现从快速搭建到深度优化的进阶。AI应用开发需突破黑盒思维,细化诊断每个环节才能持续提升效果。
RAG实战篇:将用户输入转换为精确的数据库查询语言
RAG系统的查询构建环节至关重要,涉及将用户自然语言转化为精准的数据库查询语言。本文详细介绍了三种高级方法:元数据筛选器、Text-to-SQL和Text-to-Cypher。元数据筛选器通过附加信息提升检索准确性;Text-to-SQL将自然语言转化为SQL查询,但仍需人工核对;Text-to-Cypher则适用于图数据库查询。这些方法有助于优化RAG系统的查询处理能力。
RAG实战篇:优化查询转换的五种高级方法,让大模型真正理解用户意图
风叔详细解析了RAG系统中查询转换的五种高级优化方法:Multi-query、Rag-Fusion、Decomposition、Stepback和HYDE。这些方法通过扩展查询、问题分解、抽象提问等方式,提升大模型对用户意图的理解和检索效率,适用于处理复杂和专业性问题。关注公众号即可获取源代码。
RAG彻底爆了!一文掌握其效果优化的架构设计及核心要点
RAG技术通过检索增强生成,解决了大模型在特定领域知识处理中的时效性、准确性和专业性问题。它结合实时知识库,提升了AI的回答质量,降低幻觉率,同时具备成本效益和灵活性。RAG的核心在于知识解耦、上下文增强和反馈循环,适用于金融、医疗等多个领域,助力企业构建高效、可靠的AI知识系统。
手搓一个与多PPT文档对话的RAG引擎,并封装MCP Server
本文介绍了如何构建一个多PPT文档的RAG查询管道,并将其封装到MCP Server中,以便集成到其他客户端或Agent应用。通过视觉模型解析PPT内容,生成Markdown格式,并进行向量索引,提供端到端处理、深度解析、可溯源的生成、动态索引和缓存机制等核心功能。MCP Server提供了索引状态查询、添加PPT、与PPT对话和删除PPT等工具,方便用户操作。
How to Build an Intelligent FAQ Chatbot Using Agentic RAG and LangGraph
AI代理在企业中的应用日益广泛,特别是在客户支持领域。本文详细介绍了如何利用agentic RAG、LangGraph和ChromaDB构建一个智能FAQ聊天机器人,能够快速解决客户问题。通过动态调整检索流程、多步推理和工具集成,聊天机器人的准确性和效率显著提升。文中还展示了具体的实现步骤和代码,帮助开发者轻松上手,打造高效、可扩展的AI客服系统。
Top 7 Agentic RAG System to Build AI Agents
AI代理是人工智能领域的超级英雄,能够自主执行任务并模拟智能行为。它们通过机器学习模型处理数据、做出决策并执行行动,广泛应用于客服、金融、营销和供应链管理等领域。AI代理分为反应型、自我反思型、规划型和多代理系统等类型,核心组件包括架构、代理功能和代理程序。尽管AI代理提高了效率和决策能力,但也面临数据偏见、透明度和伦理等挑战。未来,AI将与人类协作,定制化算法和伦理考量将成为关键。
从“数据拼凑”到“精准断案”:深度剖析RAG系统中信息完整性的关键作用
在智能缺陷查重项目中,尽管使用了精心设计的Prompt和强大的LLM,模型仍产生数据不一致的“拼凑”结果。通过分析,发现问题的根源在于RAG数据库中的“信息断层”。索引阶段的“有损压缩”和检索阶段的“碎片化召回”导致LLM接收到的上下文信息不完整,从而产生“幻觉”或“创造性拼凑”。解决方案是确保信息原子性,使LLM接收到完整的结构化数据,最终输出数据一致的查重报告。
Advanced RAG — Using Gemini and long context for indexing rich documents (PDF, HTML...)
在处理包含文本和丰富元素(如图片、图表)的PDF文档时,结合RAG和长上下文窗口的混合方法能有效提升检索效果。首先,通过RAG技术筛选相关文档,再将其输入支持长上下文的模型(如Gemini)进行精细理解。利用多模态模型,Gemini不仅能分块文本、生成问题,还能描述图片内容。最终,结构化输出便于嵌入向量数据库,优化RAG流程。
LLM 系列(九):RAG 番外篇-从文档到向量
本篇深入解析RAG系统中文档转化为知识的过程,从数据拆分、清洗到向量化及入库。通过多种拆分策略和清洗技术,将原始文档转化为高质量知识单元,再借助Embedding模型将其向量化,最终存储在向量数据库中,为LLM提供精准知识支持,提升检索与生成效果。
RAG优化策略
RAG系统优化指南:针对文档解析阶段的数据异构和结构混乱问题,可采用动态切片、语义分块和RSE技术;文本召回阶段通过添加标题、生成问答对和上下文压缩提升匹配度;Query优化利用改写和HyDE方法;检索策略引入重排序、反馈循环和混合检索。系统性优化组合能显著提升信息检索与生成质量。
基于MCP-RAG的大规模MCP服务精确调用方法
MCP-RAG系统通过智能检索机制,解决了LLM在处理海量MCP服务时的“提示膨胀”问题,显著提升了服务查找效率和工具选择准确率。这一创新方法不仅优化了MCP服务的管理与调用,还为大规模AI应用部署提供了坚实支撑,赋能LLM高效处理复杂任务,推动AI生态的智能化发展。