大模型与 RAG 技术在教育领域的应用探索

1. 大模型与RAG技术在教育领域的应用探索网易有道林辉

2.

3. Outline • 背景简介 • “子曰”大模型 • QAnything • 应用落地

4. 背景简介 • 关于有道 • 网易旗下子公司，2006.6 – • 用户量10亿+，月活1.2亿+ • 全球用户量最大互联网教育品牌 • 关于我 • 2011年毕业于中科院计算所后加入有道 • 负责过计算广告、图像/语音识别、文档翻译等研发 • 目前在负责LLM/ RAG的商业化落地 • 子曰和QAnything • 子曰：国内首个教育大模型 • QAnything: 自研RAG引擎，2024年1月开源，近1万stars

5. 背景简介-技术积累 Interspeech 非母语儿童英语语音识别双赛道第一名 NLPCC 中文语法纠错第一名自然语言翻译服务场景化能力核心引擎计算机视觉服务 AACL 中文语法错误诊断第一名 InfoQ 中国技术力量榜单 TOP10 量子位人工智能领航企业 TOP50 智能语音服务智慧教育服务智能交互文本翻译通用文字识别语音合成精品题库扫描交互图片翻译手写体文字识别长语音转写题目识别切分指点交互语音翻译表格识别实时语音识别中英文作文批改手写交互文档翻译整题识别（含公式）实时语音评测学业大数据平台高拍仪输入同传文档解析个性化语音定制试卷手写体擦除虚拟人交互 YNMT 自然语言翻译 NLU 语义理解 OCR 光学字符识别 ASR 语音识别 TTS 语音合成

6. 技术积累-从Transformer到子曰 2017 2018 2019 2020 2021 2022 2023 有道NMT上线有道NMT升级并基于Transformer模型有道词典笔2代首次搭载离线Transformer NMT 将基于Transformer 的ASR和TTS技术落地业务实现基于Transformer 的流式ASR技术落地有道词典笔P5搭载的自研离线 ASR\TTS也升级为Transformer 技术有道推出国内首个大模型—子曰，及六大应用场景 attention is all you need的文章坚持把最先进的技术落地教育，让“学习更加高效和轻松”，践行“夫子教人，各因其材” 高性能计算有道神经网络翻译计算机视觉「子曰」大模型智能语音AI技术

7. 子曰- 面向文字处理和学习场景的大模型文字处理学科问答子曰大模型通用问答

8. 子曰-国内首个教育大模型 9 月1日，「子曰」大模型通过深度合成服务算法备案。 11月4日，通过国家七部委联合公布的《生成式人工智能服务管理暂行办法》的备案，成为首批通过备案的教育大模型。 l 参与教育、金融、政务、文旅等大模型系列标准制定

9. 子曰大模型技术架构图目标妙笔生花的文字助手，答疑解惑的AI老师 LLM翻译应用场景训练数据 AIBox 写作指导上下文语境翻译集合创作/问答写前指导/写后批改中文语法逻辑风格化转写题目解析/核心观点中文表达习惯语法纠错作文结构/作文素材长难句翻译论文去重多维评分/作文总评精简翻译写作模板改进建议/好词好句双语词表通用预训练数据上下文窗口扩展合成数据训练加速业务数据指令微调学科老师口语教练多轮互动自由对话全学科问答场景对话循循善诱对话推荐多模态交互对话评价对齐数据多样性自动化评估数据清洗

10. 子曰-技术工作要点 • LLM数据、预训练、指令微调、对齐、评估、推理服务 • 数据 • 自有数据+专有领域数据+数据合成+安全性 • 质量高、数据多、业务强相关、丰富多样 • 算力 • ～1000 A800卡

11. 子曰-技术工作要点 • 跑通LLM数据、预训练、指令微调、对齐、评估、推理服务全流程 • 技术攻关 • • • • • • • • • 从头训练 vs. 合适的基座模型高效高质量的词表适配上下文窗口扩展训练效率提升：多机多卡，3D并行、混合精度训练、断点重训关键参数高精度垂直领域优化：prompt调优、系统微调、人类偏好对齐指令遵循能力提升解码效率提升：消费级显卡提供在线服务，混合精度、量化、动态batch 价值观对齐：模型安全优化 + 专有安全模块评估：人工评估 vs. 自动评估

12. RAG • 解决大模型应用落地教育的更多实际问题 • • • • • 幻觉知识更新时间更新（训练）成本质量问题服务（推理）成本 QAnything 2.检索【上下文数据、实时数据等】 4. 回应 • 优势 • • • • • Velocity （速度） Value (价值/成本） Volume (数据量） Variaty（数据多样性）溯源 1. query 3. 增强提示查询检索增强生成（RAG）

13. QAnything 开源RAG引擎 • 202401- • Retrieval-Augmented Generation • 万物皆可问 • doc,ppt,excel,pdf,图片等 • 网页链接 • 视频/音频 • 一键安装，快速使用 • https://qanything.ai • https://github.com/netease- youdao/QAnything • 支持纯本地部署 • Github 9500 stars

14. QAnything 开源RAG引擎 • 202401- • Retrieval-Augmented Generation • 万物皆可问 • doc,ppt,excel,pdf,图片等 • 网页链接 • 视频/音频 • 一键安装，快速使用 • https://qanything.ai • https://github.com/netease- youdao/QAnything • 支持纯本地部署 • Github 9500 stars

15. QAnything 开源RAG引擎 • BCEmbeeding模型 • 跨语言问答能力 • 中英日韩 • 竖排对比 • Embedding • 横排对比 • Rerank • 整体组合最优 https://github.com/netease-youdao/BCEmbedding

16. RAG流程的哲学 • RAG VS LLM context • 硬盘 vs 内存 • 什么是RAG的关键？ • 形式多样的数据 • 高质量的输入处理 • 灵活的查询排序 • LLM的理解力与可靠性 • 摘要 • 翻译 • 可控性

17. RAG效果优化 • 检索的问题 • • • • 在DB里面没有初始检索里面没有 Rerank环节丢失了放context环节漏了 • • • • • 没有提取出来输出不完整幻觉输出格式不对答案不符合要求 • LLM的问题 • 过于笼统 • 系统的问题 • 扩展性/稳定性 • 速度/精度

18. RAG 效果优化 • 训练的好处 • 训练的关键点 • 问题的定义 • 符合RAG需求 • 任务的安排 • 难易要合适 • 数据的生成 • 句子/GPT4 • 真实问题 • Rerank score • 可比较的分数

19. RAG 效果优化 • 训练的好处 • 训练的关键点 • 问题的定义 • 符合RAG需求 • 任务的安排 • 难易要合适 • 数据的生成 • 句子/GPT4 • 真实问题 • Rerank score • 可比较的分数

20. RAG效果优化-Why Rerank? • 缺数据？数据越多越好吗？ • 精度与速度的tradeoff

21. RAG效果优化-Why Rerank? • 缺数据？数据越多越好吗？ • 精度与速度的tradeoff

22. RAG效果优化-Why Rerank?

23. RAG效果优化-Why Rerank? • 缺数据？数据越多越好吗？ • 精度与速度的tradeoff

24. RAG效果优化-混合检索 • 混合检索的必要性 • • • • 特定名字罕见专有词 ID … • 性能的影响 • 检索后的处理 • RRF？ • Rerank • 底层逻辑？ • 弥补embedding和rerank的GAP

25. RAG 效果优化 • 数据预处理 • Quality in quality out • Chunking • 太大？太小 • Sentence-window • 自适应 • Query改写 • 指代替换、问题拆解 • 意图理解/分叉反问 • Meta信息 • Title/caption/summarization/gen questions/keywords/tree index

26. RAG 系统的评价 • 数据的质量 • 检索的质量 • Hitrate/mrr/blue/rouge • 答案的质量 • 评价的方式 • Gpt4打分 • 人工评测评价的维度 • • • • • • • • 多样性完整度准确性相关性真实性细节性流畅性 …

27. 结合其他技术-视觉 • 更高的识别质量要求 • 文档解析+版式分析： • 段落、标题、配图、表格、公式、页眉页脚、引文 • 自动切题 • 手写识别和干扰去除 • 公式识别 • 支持LaTeX

28. 结合其他技术-语音 • • • • • • • • 中式英语识别口型驱动音素级纠音中英混杂的识别和合成声音降噪能打断多音色、有情感、更像真人读公式、读古文 • https://github.com/netease- youdao/EmotiVoice

29. 应用落地- LLM翻译 LLM翻译更加的准确、地道、流畅；更好支持篇章级的翻译；支持场景、术语、风格等各种定制化为翻译带来更大的想象空间理解准确支持理解上下文推理、篇章级翻译表达地道篇章符合中文语法逻辑、表达习惯指令交互场景、术语、风格个性化定义改写润色支持对结果进一步改写润色扩写摘要短句扩写，文章摘要体验网址：https://fanyi.youdao.com/

30. 应用落地-写作指导给K12用户提供写前作文指导和写后作文批改的功能可写可改：写前指导（教我写作文）：写后批改（帮我改作文）：写前指导（教我写作文）用户通过键盘输入或拍照转文字输入作文要求用户通过键盘输入或拍照转文字输入作文要写后批改（帮我改作文）之后，AI给出分析结果，结果包含题目解析、求之后，AI给出分析结果，结果包含错别字核心观点、作文结构、作文素材四方面的建议。修改、作文总评、改进建议、作文好句评析。

31. 应用落地-智能硬件上的教育大模型在硬件设备上，除了查词和翻译，给出更多题目讲解和批改的能力首个落地在硬件上的教育大模型题目精讲讲英语单选题、填空题语法精讲除了翻译还能讲语法和知识点文言文翻译语文精讲结合知识库的智能翻译对文言文背景和难点进一步扩展

32. 应用落地-虚拟人口语教练 AI口语教练：支持独立APP、微信小程序、接口调用集成类真人陪伴口语学、练、测类真人形象未来支持自定义虚拟人老师真实对话语境具备分级功能，满足各阶段需求实时报告生成即时反馈，总体评价和详细报告微信小程序或应用市场搜索【HiEcho】即可立即体验～～～真人对练场景：选择口对练习场景：对练场景：支持自定义场景：生成个性基于确定的场景主题及对话对话过程循循善诱，根任务与AI对话练习，采用问据练习内容给出用户口化的对话内容答形式语评分及指导意见雅思战略合作：基于雅思标准实现口语练习和模拟打分

33. 应用落地-有道速读旨在帮助用户迅速理解文档内容，快速定位关键信息；10秒内阅读并理解长达万字的文档内容。文献查阅、课题申报、论文撰写文档收集引文口碑，领域综述先进知识搜集文档理解解析+问答+摘要、解读、推荐论文生成支持快速搜索先进文献，生成综述节省成本体验网址：https://read.youdao.com/

34. 应用落地-有道速读旨在帮助用户迅速理解文档内容，快速定位关键信息；10秒内阅读并理解长达万字的文档内容。文献查阅、课题申报、论文撰写文档收集引文口碑，领域综述先进知识搜集文档理解解析+问答+摘要、解读、推荐论文生成支持快速搜索先进文献，生成综述节省成本体验网址：https://read.youdao.com/

35. 应用落地-AI升学规划师 • • • • 高中选科/志愿填报准确率优化45% -> 95% RAG中的多轮问答对话系统的Agent

36. 应用落地-小P老师国内首个全科答疑的AI全科学习助手，全科全题型答疑精讲题目的答疑和讲解可追问可反问启迪自主思考多轮互动引导苏格拉底式，个性化讲解知识点融会贯通举一反三，启发思维，点燃兴趣多形式交互语音、文字、拍照、图片

37. 应用落地-小P老师国内首个全科答疑的AI全科学习助手，全科全题型答疑精讲题目的答疑和讲解可追问可反问启迪自主思考多轮互动引导苏格拉底式，个性化讲解知识点融会贯通举一反三，启发思维，点燃兴趣多形式交互语音、文字、拍照、图片

38. 小P老师-常见case 理想情况干净、无扭曲、边界清晰、内容齐整实际情况 *均来自实际用户日志，后页有对比说明——用户侧输入方式多样用户框题随性，带来的题目不全用户希望讲一道作答过的题，手写干扰用户框题随性，带来的上下题干扰

39. 小P老师-常见case 理想情况靠文字可以很清晰的描述清楚一道题实际情况 *均来自实际用户日志——全题型、全场景、图文结合

40. 小P老师-技术方案人格化 I 自然交互输入拍照输入（OCR）语音输入（ASR）输出教师人格检索增强启发式学习知识库全科知识教辅资料多轮问答题库资源善于鼓励文本输入小P老师风格扮演｜辅导作业｜询问历史知识基座模型意图理解通用能力知识理解数理逻辑讲解问题（类真人TTS）

41. 更多落地… 案例1：参考信息报社智能翻译项目案例3：杭州市拱墅区开展智慧教育解决方案杭州市拱墅区打造了一系列智慧教育解决方案，涵盖了智慧体育、AI口语训练和智慧学业等多个领域，全面渗透到拱墅区的教育场景中。案例4：四川省宜宾市大模型教育场景落地案例2：海淀区开展中小学“双师课堂”模式应用与四川省宜宾市教体局协作，目前已落地全科答疑教师“小P老师”、基于大模型的 “AI口语教练”和人工智能创新实验室“AI创新教室”等产品。与北理工附中、十一学校龙樾实验中学、中关村三小、海淀区实验小学4所学校试点开展人工教师+AI教师的新型“双师课堂”模式，开展基于AI应用技术和虚拟仿真技术的AI自习室项目建设。案例5：海淀区信息技术课应用、智慧杯赛事与海淀教科院对接，依托数字人技术，探讨在传统信息技术课中设置虚拟人授课等有关的人工智能课程，并在后续智慧杯大赛赛道设置中，寻求创新，打造课程、竞赛全链条通路。案例6：有道与雅思考试的主办方—英国文化教育协会（British Council）建立战略合作伙伴关系在Hi Echo中体验雅思口语模拟练习

42.

43. 谢谢聆听 Qanything公众号 https://qanything.ai Q&A 我的微信