大模型与 RAG 技术在教育领域的应用探索

如果无法正常显示,请先停止浏览器的去广告插件。
分享至:
1. 大模型与RAG技术在教育领域 的应用探索 网易有道 林辉
2.
3. Outline • 背景简介 • “子曰”大模型 • QAnything • 应用落地
4. 背景简介 • 关于有道 • 网易旗下子公司,2006.6 – • 用户量10亿+,月活1.2亿+ • 全球用户量最大互联网教育品牌 • 关于我 • 2011年毕业于中科院计算所后加入有道 • 负责过计算广告、图像/语音识别、文档翻译等研发 • 目前在负责LLM/ RAG的商业化落地 • 子曰和QAnything • 子曰:国内首个教育大模型 • QAnything: 自研RAG引擎,2024年1月开源,近1万stars
5. 背景简介-技术积累 Interspeech 非母语儿童英语语音识别 双赛道第一 名 NLPCC 中文语法纠错 第一名 自然语言翻译服务 场 景 化 能 力 核 心 引 擎 计算机视觉服务 AACL 中文语法错误诊断 第一名 InfoQ 中国技术力量榜单 TOP10 量子位 人工智能领航企业 TOP50 智能语音服务 智慧教育服务 智能交互 文本翻译 通用文字识别 语音合成 精品题库 扫描交互 图片翻译 手写体文字识别 长语音转写 题目识别切分 指点交互 语音翻译 表格识别 实时语音识别 中英文作文批改 手写交互 文档翻译 整题识别(含公式) 实时语音评测 学业大数据平台 高拍仪输入 同传 文档解析 个性化语音定制 试卷手写体擦除 虚拟人交互 YNMT 自然语言翻译 NLU 语义理解 OCR 光学字符识别 ASR 语音识别 TTS 语音合成
6. 技术积累-从Transformer到子曰 2017 2018 2019 2020 2021 2022 2023 有道NMT上线 有道NMT升级并基 于Transformer模型 有道词典笔2代首次搭 载离线Transformer NMT 将基于Transformer 的ASR和TTS技术落 地业务 实现基于Transformer 的流式ASR技术落地 有道词典笔P5搭 载的自研离线 ASR\TTS也升级 为Transformer 技术 有道推出 国内首个大模 型—子曰,及 六大应用场景 attention is all you need的文章 坚持把最先进的技术落地教育,让“学习更加 高效和轻松”,践行“夫子教人,各因其材” 高性能计算 有道神经网络翻译 计算机视觉 「子曰」大模型 智能语音AI技术
7. 子曰- 面向文字处理和学习场景的大模型 文字处理 学科问答 子曰大模型 通用问答
8. 子曰-国内首个教育大模型 9 月1日,「子曰」大模型通过深度合成服务算法备案。 11月4日,通过国家七部委联合公布的《生成式人工智 能服务管理暂行办法》的备案,成为首批通过备案的 教育大模型。 l 参与 教育 、金融、政务、文旅等大模型系列标准制定
9. 子曰大模型技术架构图 目标 妙笔生花的文字助手,答疑解惑的AI老师 LLM翻译 应用场景 训练 数据 AIBox 写作指导 上下文语境翻译 集合创作/问答 写前指导/写后批改 中文语法逻辑 风格化转写 题目解析/核心观点 中文表达习惯 语法纠错 作文结构/作文素材 长难句翻译 论文去重 多维评分/作文总评 精简翻译 写作模板 改进建议/好词好句 双语词表 通用预训练数据 上下文窗口扩展 合成数据 训练加速 业务数据 指令微调 学科老师 口语教练 多轮互动 自由对话 全学科问答 场景对话 循循善诱 对话推荐 多模态交互 对话评价 对齐 数据多样性 自动化评估 数据清洗
10. 子曰-技术工作要点 • LLM数据、预训练、指令微调、对齐、评估、推理服务 • 数据 • 自有数据+专有领域数据+数据合成+安全性 • 质量高、数据多、业务强相关、丰富多样 • 算力 • ~1000 A800卡
11. 子曰-技术工作要点 • 跑通LLM数据、预训练、指令微调、对齐、评估、推理服务全流程 • 技术攻关 • • • • • • • • • 从头训练 vs. 合适的基座模型 高效高质量的词表适配 上下文窗口扩展 训练效率提升:多机多卡,3D并行、混合精度训练、断点重训关键参数高 精度 垂直领域优化:prompt调优、系统微调、人类偏好对齐 指令遵循能力提升 解码效率提升:消费级显卡提供在线服务,混合精度、量化、动态batch 价值观对齐:模型安全优化 + 专有安全模块 评估:人工评估 vs. 自动评估
12. RAG • 解决大模型应用落地教育的更多实 际问题 • • • • • 幻觉 知识更新时间 更新(训练)成本 质量问题 服务(推理)成本 QAnything 2.检索【上下文数据、实时数据等】 4. 回应 • 优势 • • • • • Velocity (速度) Value (价值/成本) Volume (数据量) Variaty(数据多样性) 溯源 1. query 3. 增强提示查询 检索增强生成(RAG)
13. QAnything 开源RAG引擎 • 202401- • Retrieval-Augmented Generation • 万物皆可问 • doc,ppt,excel,pdf,图片等 • 网页链接 • 视频/音频 • 一键安装,快速使用 • https://qanything.ai • https://github.com/netease- youdao/QAnything • 支持纯本地部署 • Github 9500 stars
14. QAnything 开源RAG引擎 • 202401- • Retrieval-Augmented Generation • 万物皆可问 • doc,ppt,excel,pdf,图片等 • 网页链接 • 视频/音频 • 一键安装,快速使用 • https://qanything.ai • https://github.com/netease- youdao/QAnything • 支持纯本地部署 • Github 9500 stars
15. QAnything 开源RAG引擎 • BCEmbeeding模型 • 跨语言问答能力 • 中英日韩 • 竖排对比 • Embedding • 横排对比 • Rerank • 整体组合最优 https://github.com/netease-youdao/BCEmbedding
16. RAG流程的哲学 • RAG VS LLM context • 硬盘 vs 内存 • 什么是RAG的关键? • 形式多样的数据 • 高质量的输入处理 • 灵活的查询排序 • LLM的理解力与可靠性 • 摘要 • 翻译 • 可控性
17. RAG效果优化 • 检索的问题 • • • • 在DB里面没有 初始检索里面没有 Rerank环节丢失了 放context环节漏了 • • • • • 没有提取出来 输出不完整 幻觉 输出格式不对 答案不符合要求 • LLM的问题 • 过于笼统 • 系统的问题 • 扩展性/稳定性 • 速度/精度
18. RAG 效果优化 • 训练的好处 • 训练的关键点 • 问题的定义 • 符合RAG需求 • 任务的安排 • 难易要合适 • 数据的生成 • 句子/GPT4 • 真实问题 • Rerank score • 可比较的分数
19. RAG 效果优化 • 训练的好处 • 训练的关键点 • 问题的定义 • 符合RAG需求 • 任务的安排 • 难易要合适 • 数据的生成 • 句子/GPT4 • 真实问题 • Rerank score • 可比较的分数
20. RAG效果优化-Why Rerank? • 缺数据?数据越多越好吗? • 精度与速度的tradeoff
21. RAG效果优化-Why Rerank? • 缺数据?数据越多越好吗? • 精度与速度的tradeoff
22. RAG效果优化-Why Rerank?
23. RAG效果优化-Why Rerank? • 缺数据?数据越多越好吗? • 精度与速度的tradeoff
24. RAG效果优化-混合检索 • 混合检索的必要性 • • • • 特定名字 罕见专有词 ID … • 性能的影响 • 检索后的处理 • RRF? • Rerank • 底层逻辑? • 弥补embedding和rerank的GAP
25. RAG 效果优化 • 数据预处理 • Quality in quality out • Chunking • 太大?太小 • Sentence-window • 自适应 • Query改写 • 指代替换、问题拆解 • 意图理解/分叉反问 • Meta信息 • Title/caption/summarization/gen questions/keywords/tree index
26. RAG 系统的评价 • 数据的质量 • 检索的质量 • Hitrate/mrr/blue/rouge • 答案的质量 • 评价的方式 • Gpt4打分 • 人工评测 评价的维度 • • • • • • • • 多样性 完整度 准确性 相关性 真实性 细节性 流畅性 …
27. 结合其他技术-视觉 • 更高的识别质量要求 • 文档解析+版式分析: • 段落、标题、配图、表格、 公式、页眉页脚、引文 • 自动切题 • 手写识别和干扰去除 • 公式识别 • 支持LaTeX
28. 结合其他技术-语音 • • • • • • • • 中式英语识别 口型驱动 音素级纠音 中英混杂的识别和合成 声音降噪 能打断 多音色、有情感、更像真人 读公式、读古文 • https://github.com/netease- youdao/EmotiVoice
29. 应用落地- LLM翻译 LLM翻译更加的准确、地道、流畅;更好支持篇章级的翻译;支持场景、术语、风格等各种定制化 为翻译带来更大的想象空间 理解准确 支持理解上下文推理、篇章级翻译 表达地道 篇章符合中文语法逻辑、表达习惯 指令交互 场景、术语、风格个性化定义 改写润色 支持对结果进一步改写润色 扩写摘要 短句扩写,文章摘要 体验网址:https://fanyi.youdao.com/
30. 应用落地-写作指导 给K12用户提供写前作文指导和写后作文批改的功能 可写可改: 写前指导(教我写作文): 写后批改(帮我改作文): 写前指导(教我写作文) 用户通过键盘输入或拍照转文字输入作文要求 用户通过键盘输入或拍照转文字输入作文要 写后批改(帮我改作文 ) 之后,AI给出分析结果,结果包含题目解析、 求之后,AI给出分析结果,结果包含错别字 核心观点、作文结构、作文素材四方面的建议。 修改、作文总评、改进建议、作文好句评析。
31. 应用落地-智能硬件上的教育大模型 在硬件设备上,除了查词和翻译,给出更多题目讲解和批改的能力 首个落地在硬件上的教育大模型 题目精讲 讲英语单选题、填空题 语法精讲 除了翻译还能讲语法和知识点 文言文翻译 语文精讲 结合知识库的智能翻译 对文言文背景和难点进一步扩展
32. 应用落地-虚拟人口语教练 AI口语教练:支持独立APP、微信小程序、接口调用集成 类真人陪伴口语学、练、测 类真人形象 未来支持自定义虚拟人老师 真实对话语境 具备分级功能,满足各阶段需求 实时报告生成 即时反馈,总体评价和详细报告 微信小程序或应用市场搜索【HiEcho】 即可立即体验~~~ 真人对练场景: 选择口对练习场景: 对练场景: 支持自定义场景:生成个性 基于确定的场景主题及对话 对话过 程 循 循 善 诱 , 根 任务与AI对话练习,采用问 据练习 内 容 给 出 用 户 口 化的对话内容 答形式 语评分及指导意见 雅思战略合作: 基于雅 思 标 准 实 现 口 语 练习和模拟打分
33. 应用落地-有道速读 旨在帮助用户迅速理解文档内容,快速定位关键信息;10秒内阅读并理解长达万字的文档内容。 文献查阅、课题申报、论文撰写 文档收集 引文口碑,领域综述先进知识搜集 文档理解 解析+问答+摘要、解读、推荐 论文生成 支持快速搜索先进文献,生成综述 节省成本 体验网址:https://read.youdao.com/
34. 应用落地-有道速读 旨在帮助用户迅速理解文档内容,快速定位关键信息;10秒内阅读并理解长达万字的文档内容。 文献查阅、课题申报、论文撰写 文档收集 引文口碑,领域综述先进知识搜集 文档理解 解析+问答+摘要、解读、推荐 论文生成 支持快速搜索先进文献,生成综述 节省成本 体验网址:https://read.youdao.com/
35. 应用落地-AI升学规划师 • • • • 高中选科/志愿填报 准确率优化45% -> 95% RAG中的多轮问答 对话系统的Agent
36. 应用落地-小P老师 国内首个全科答疑的AI全科学习助手,全科全题型答疑精讲题目的答疑和讲解 可追问可反问启迪自主思考 多轮互动引导 苏格拉底式,个性化讲解 知识点融会贯通 举一反三,启发思维,点燃兴趣 多形式交互 语音、文字、拍照、图片
37. 应用落地-小P老师 国内首个全科答疑的AI全科学习助手,全科全题型答疑精讲题目的答疑和讲解 可追问可反问启迪自主思考 多轮互动引导 苏格拉底式,个性化讲解 知识点融会贯通 举一反三,启发思维,点燃兴趣 多形式交互 语音、文字、拍照、图片
38. 小P老师-常见case 理想情况 干净、无扭曲、边界清晰、内容齐整 实际情况 *均来自实际用户日志,后页有对比说明——用户侧输入方式多样 用户框题随性,带来的题目不全 用户希望讲一道作答过的题,手写干扰 用户框题随性,带来的上下题干扰
39. 小P老师-常见case 理想情况 靠文字可以很清晰的描述清楚一道题 实际情况 *均来自实际用户日志——全题型、全场景、图文结合
40. 小P老师-技术方案 人格化 I 自然交互 输入 拍照输入(OCR) 语音输入(ASR) 输出 教师人格 检索增强 启发式学习 知识库 全科知识 教辅资料 多轮问答 题库资源 善于鼓励 文本输入 小P老师 风格扮演 | 辅导作业 | 询问历史知识 基座模型 意图理解 通用能力 知识理解 数理逻辑 讲解问题 (类真人TTS)
41. 更多落地… 案例1:参考信息报社智能翻译项目 案例3:杭州市拱墅区开展智慧教育解决方案 杭州市拱墅区打造了一系列智慧教育解决方案,涵盖了智慧体育、AI口语训练和智慧学 业等多个领域,全面渗透到拱墅区的教育场景中。 案例4:四川省宜宾市大模型教育场景落地 案例2:海淀区开展中小学“双师课堂”模式应用 与四川省宜宾市教体局协作,目前已落地全科答疑教师“小P老师”、基于大模型的 “AI口语教练”和人工智能创新实验室“AI创新教室”等产品。 与北理工附中、十一学校龙樾实验中学、中关村三小、海淀区实验小学4所学校 试点开展人工教师+AI教师的新型“双师课堂”模式,开展基于AI应用技术和虚 拟仿真技术的AI自习室项目建设。 案例5:海淀区信息技术课应用、智慧杯赛事 与海淀教科院对接,依托 数字人 技术,探讨在传统信息技术课中设置虚拟人授课等有关 的人工智能课程,并在后续智慧杯大赛赛道设置中,寻求创新,打造课程、竞赛全链条 通路。 案例6:有道与雅思考试的主办方—英国文化教育协会(British Council)建立战略合作伙伴关系 在Hi Echo中体验雅思口语模拟练习
42.
43. 谢 谢 聆 听 Qanything公众号 https://qanything.ai Q&A 我的微信

Главная - Вики-сайт
Copyright © 2011-2024 iteam. Current version is 2.137.3. UTC+08:00, 2024-12-08 02:17
浙ICP备14020137号-1 $Гость$