QAnything：大模型驱动下的知识库问答体系革新与实践

如果无法正常显示，请先停止浏览器的去广告插件。

1. QAnything：大模型驱动下的知识库问答体系革新与实践自研RAG引擎、支持全离线私有化轻松部署、官网:qanything.ai 演讲人：冯江涛网易有道QAnything首席架构师

2. 目录 01 02 03 04 QAnything 演化史 QAnything 系统 QAnything 开源 QA x OpenCloudOS

4. 01 问题是钉子 QAnything是锤子从文档翻译到文档问答从文档问答到有道速读从有道速读到小P老师从小P老师到QAnything

5. QAnything演化史团队的原始积累——OCR 图片翻译（2017-2019）文档翻译（2018-2022）文档问答（2023-2024）

6. QAnything演化史团队的原始积累——NMT 图片翻译（2017-2019）文档翻译（2018-2022）文档问答（2023-2024）

7. QAnything演化史进阶：文档问答图片翻译（2017-2019）文档翻译（2018-2022）文档问答（2023-2024） • OCR+NMT • bm25+子曰大模型

8. QAnything演化史从文档问答到有道速读有道速读： https://read.youdao.com • PDF解析（跨页、分栏组段） • 多语种、跨语种Embedding • 比OpenAI Embedding速度快，效果好

9. QAnything演化史从有道速读到小P老师 2023Q4-2024Q1 多模态识别 • 文本、图像、语音、输入 AI智能解答 • 答案解析、知识点视频讲解、举一反三引导式教学 • 支持多轮交互、苏格拉底式教学 K12全支持 • 全学段、全学科讲解

10. QAnything演化史从小P老师到 QAnything QAnything： https://qanything.ai 从FAISS到Milvus到zilliz： • 用户管理+知识库管理 • 上传文件以及检索性能从在线服务到本地离线部署： • 本地LLM（vllm） • 本地Embedding+Rerank+解析 • 完全断网安装使用的QAnything

11. 02 QAnything系统架构 QAnything架构解析 BCEmbedding模型 Rerank的必要性

12. QAnything系统 QAnything架构解析

13. QAnything系统 QAnything架构解析

14. QAnything系统 QAnything架构解析

15. QAnything系统 Bcembedding模型 Llamaindex 评测集： • bce-embedding优于其他开源、闭源embedding模型 • rerank模型可以显著提升检索效果 • bce-embedding和bce-reranker 的组合可以实现最好的效果。 LlamaIndex博客评测复刻

16. QAnything系统 Bcembedding模型 Bcembedding开源链接： https://github.com/netease- youdao/BCEmbedding 多领域、多语种和跨语种评测： • 竖排对比：bce-embedding表现最好。 openai-embed-3和bge-m3表现出顽强的泛化性。Cohere和e5的多语种embedding模型同样表现出不错的效果。而其他单语种 embedding模型表现却不尽如人意（JinaAI- v2-Base-zh和bge-large-zh-v1.5稍好一些）。 • 横排对比：reranker模块可以显著改善检索效果。其中CohereRerank和bge-reranker- large效果相当，bce-reranker-base_v1具备比前二者更好的精排能力。 • 整体：bce-embedding-base_v1和bce- reranker-base_v1的组合可以实现最好的检索效果（93.46/77.02），比其他开源闭源最好组合（bge-m3-large+bge-reranker- large， 89.94/70.17）多领域、多语种和跨语种RAG评测

17. QAnything系统为什么要加Rerank？ RAG is Only as Good as your Data • RAG系统 • 数据 • 用户的badcase能通过灌数据解决吗 RAG系统：数据越多效果越好吗？

18. QAnything系统 RAG系统：数据越多效果越好吗？

19. QAnything系统 RAG系统：数据越多效果越好吗？检索退化问题 • baseline：第一批数据加入后问答正确率有42.6%，此时有一些问题没回答上来是因为确实缺少相关资料。我们继续加数据… • 迎来上涨：第二批加了更多数据，覆盖知识范围更广。准确率提升到了60.2%，提升非常明显，看来加数据确实还是挺有用的。 • 坏消息：当加入第三批数据的时候，我们最担心的事情还是发生了。正确率急剧下降，跌了将近8个百分点。结论：不是所有的RAG系统都能保证：数据越多，效果越好。

20. QAnything系统 RAG系统：数据越多效果越好吗？先抓一个典型看看：大连医科大学怎么样？这个问题在v2版本（加入第三批数据前）是能回答对的 v3版本（加入第三批数据后）回答错了。看了一下送到LLM的文本片段，居然全部都是大连理工大学相关的信息。

21. QAnything系统 RAG系统：数据越多效果越好吗？

22. QAnything系统 RAG系统：数据越多效果越好吗？语义检索：相似≠相关问题：为什么不直接用cross-encode?（计算资源，检索速度）

23. QAnything系统 RAG系统：数据越多效果越好吗？

24. QAnything系统多模态文档理解，支持pdf，docx，pptx格式文档的图片数据的多模态内容理解，分为3类： • 自然图片-自然语言描述； • 数据类图片（柱状图，折线图，雷达图等）-自然语言描述+图元信息（x轴y轴图例等含义）+数据变化趋势+csv格式数据提取； • 流程类图片-自然语言描述+全流程名称+mermaid流程图语言

25. QAnything系统 RAG系统：数据越多效果越好吗？打破 “单步检索→直接返回结果” 的局限。通过「问题分层拆解 + 多轮推理」，实现复杂逻辑的深度解析

26. 03 QAnything开源 QAnything开源现状

27. QAnything开源 QAnything开源自2024.1.3日开源以来共发布5个大版本截止2024.12已有多次登上github 12.1k star Trending榜开源地址：https://github.com/netease-youdao/QAnything

28. QAnything开源时间线 v1.0发布 v1.1.x发布 v1.2.x发布 v1.3.x发布 v1.4.x发布--V2.0 • • • • 易用性 • 支持一键安装 • 支持多卡部署 • 支持windows部署自定义LLM • 支持三种LLM推理后端 • 支持多种开源LLM及在线LLM 调用 • 支持自定义LLM 易用性 • 支持纯python安装 • 支持MAC笔记本安装 • 支持纯cpu运行 • 支持断网安装 • 前端增加英文版本 • 前端免编译安装 • 支持所有Nvidia显卡 • 安装交互更人性化功能 • 支持与OpenAI-API接口兼容的LLM服务（ollama， DashScope等） • 支持联网检索 • 支持FAQ问答 • 支持自定义Bot • 支持语音文件 • 支持信息溯源 • 支持问答日志检索 • 支持国产OS（OpenCloud）支持离线使用跨语种检索问答两阶段检索 embed和rerank模型榜单第一 • 微调LLM模型优于原生 chat模型 • 支持多种类型文档性能 • 解决前端初始化卡顿 • 优化向量库的存储体积 • 优化PDF解析有效性和速度 • 优化xlsx和html文件的切片效果易用性 • 支持更多显卡，算力6.0以上均支持 • 启动过程中交互更加人性化 • 重构日志模块，更易排查问题安全漏洞 • 修复SQL注入漏洞 • 修复文件上传漏洞 01.03 01.18 01.30 效果 • 支持混合检索 (BM25+embed） • excel文件读取所有 sheet 04.03 效果 • PDF（包含表格）解析效果提升 04.26 08

29. QAnything开源特性一览

30. 04 QAnythingXOpenCloudOS OpenCloudOS私有化部署

31. 为什么与OpenCloudOS合作？ QAnything 专注于提供智能化的问答与信息检索服务，而 OpenCloudOS 作为一款腾讯与合作伙伴共同倡议发起开源操作系统，侧重于提供稳定、安全、高效的底层计算环境。双方在技术栈上具有显著的互补性，合作有利于实现资源的深度融合，推动技术创新与应用优化。 Linux行业现状及OpenCloudOS定位 OpenCloudOS 核心优势及亮点极致稳定面向云原生和容器场景的效能优化 • 宕机率比CentOS降低70% • 底层环境更轻量化：“玄湾OS”，内核启动时间压缩至1s • 累计部署超1500万套，经大规模海量业务验证 • ebpf/Cilium高版本特性支持，网络吞吐率大幅提升 • 多架构热补丁热补丁机制，保障业务连续性 • 运维诊断更快速：“Nettrace”故障定位工具 01 • 宕机自动分析系统：自动分析成功率>90% 02 面向AI的深度优化、生态支持 • 基础生态支持：丰富的GPU+推理框架+AI容器镜安全、稳定云原生、AI 04 03 • 交付更敏捷化： 100MB左右的容器小型化镜像终身维护、1v1技术支持 • OC8-生命周期10年，保证存量系统安全稳定运行 • 自动化工具：更快实现CVE修复、上游rpm包跟踪 • OC9-终生维护，免除后续OS切换顾虑与担忧 • 智能化工具：智能问答、智能助手、智能运维 • 可视伙伴需求，提供一定程度的1v1技术支持 • 智能调优、智能任务调度、智能安全防护，实现运维场景的主动感知与快速响应

32. QAnything × OpenCloudOS 联合研发与OpenCloudOS融合中的技术挑战依赖库的安装和配置反复测试和调试 QAnything 依赖于多个 Python 库和团队通过不断测试和调试,确保 QAnything 系统级依赖,需要仔细分析并在应用程序能够在 OpenCloudOS 环境下正 OpenCloudOS 环境中进行安装和配常运行,并能在小的生产环境下提供稳定可置,确保所有必要组件都能正常运行。靠的服务。 OpenCloudOS 完成了一键部署 QAnything 的能力，用户无需关注复杂的环境配置和依赖管理，只需要拥有 Docker 运行环境，并使用 Docker Compose 命令即可快速启动 QAnything 应用程序。这种便捷的部署方式极大地简化了启动和运行 QAnything 的过程，降低了使用 QAnything 的门槛，也节省了用户时间和精力。

33. QAnything × OpenCloudOS 联合研发在 OpenCloudOS 中使用 QAnything 的方法 01 02 03 04 05 准备 Docker 环境用户需要在所使用的平台上安装并配置好 Docker 运行环境,为 QAnything 的部署做好准备。拉取 QAnything 项目用户需要从 QAnything 的代码仓库中拉取最新的项目代码,并切换到 qanything-python 分支。使用 Docker Compose 启动 QAnything 用户只需要运行 docker compose up 命令,Docker Compose 就会自动根据 docker-compose.yml 文件启动 QAnything 服务容器。等待部署完成下载镜像并启动各服务容器需要一些时间，等到所有容器启动成功。访问 QAnything 应用在浏览器中输入http://{your_host}:8777/qanything/，即可打开 QAnything 的 Web 界面。 docker镜像： https://hub.docker.com/r/freeren/qanything- opencloud/tags

34. QAnything × OpenCloudOS 联合研发 QAnything + OpenCloudOS 为用户带来的价值：有效帮助用户在数字化转型过程中提升信息处理效率与决策质量稳定性与安全性增强无缝集成与易用性提升持续创新与功能升级性能优化与资源利用率提高社区支持与定制化服务 QAnything与 QAnything与依托 OpenCloudOS 生针对 OpenCloudOS 的用户不仅能够获得 OpenCloudOS深度合作， OpenCloudOS的良好兼态的创新动力，特性进行性能调优，充分 QAnything官方的支持，经过严格测试与认证，提容性，简化了部署和升级 QAnything能够快速吸收利用硬件资源，提高计算还能受益于高了系统的整体稳定性和流程，降低了技术门槛，最新成果，为用户提供前效率，为用户带来更快的 OpenCloudOS 庞大的数据安全性，降低了业务大幅提升了用户体验。沿的智能问答与信息检索响应速度和更大的数据处开发者社区，获取丰富的服务。理能力。技术文档、教程、论坛答中断风险。疑等资源，甚至有机会参与定制化开发，满足特定业务场景的需求。

35. Thank You 「代码传递思想.技术创造回响」在线体验平台： https://qanything.ai https://qanything-privatization-prod.youdao.com/qanything/#/home QAnything答疑群 QAnything公众号 QAnything开源地址： BCEmbedding开源地址： https://github.com/netease-youdao/QAnything https://github.com/netease-youdao/BCEmbedding