AI大模型快速生成题库-助力业务人效提升10+倍
01 1、培训考核涉及的文件数量较多
当前，京东航空公司维修部门面临着人员规模的快速增长和持续的培训需求。根据民航局的规定，维修培训必须确保所有维修人员都能够完成对飞机维修相关文件的学习，这包括维修方案、维修工程管理手册、工作程序手册等共计12本手册以及民航局发布的各类明传电报、维修工程部门发布的维修提示文件MT和技术通告文件TA等内容。这不仅适用于新招聘人员的初始培训，复训，而且每当手册更新时，都需要进行差异化培训。以上内容的培训都属于知识掌握类培训，经过近两年的运行，业务侧发现无论是课堂培训还是自学培训，培训效果都不太好，即员工常常无法在完成培训后，全面掌握所需要掌握的知识或程序要求。因此维修系统在今年对此类培训进行了改革，计划通过“以考促训”的方式提高培训效果，即通过编制考题覆盖所有需要掌握的知识点，要求受训人员通过反复做题，并在做题的过程中查询相关手册、文件等资料，最终达到100%掌握知识点的目标。按此改革计划，就需要培训分部根据每次培训材料编制海量的题库，相对于原有题库将呈指数倍增加，而且还需要实时根据资料的更新去更新对应的题目和答案。 2、培训考核涉及的文件变动频次较高、应用场景较为频繁
目前，维修系统需考核的手册类文件约12本，考题量需求约2400道；涉及的局方文件、维修发技术类文件约600条，且以20条/每月的速度增加，涉及的考题约3000道。 培训场景
频率 每月平均开展手册类培训次数
8~10次
每月开展技术类文件培训次数
8次
每月开展岗位授权类考试、技术等级评定、各类安全活动如知识竞赛
1次
以上培训场景每次均需对历史文件进行评估，对考题库进行更新修订。
3、人工拟定题目费时费力
为提高维修人员对手册程序的掌握程度，现有的培训有效性评估手段将从“一次考试机会，70分及格”转向“考试机会不限，但需满分及格”，为此需不断扩充题库数量、优化题库质量，以确保维修人员逐步熟练掌握手册中的各项要求。根据维修系统的文件数量、变动频次和应用场景，预计在2024~2025年每周需安排24时/人次梳理更新已有题库、增加新题库，全年预计增加工时1248时，需增编1人以免影响其他培训管理工作的开展。 4、无法评估现有题目有效性
题库中题目的数量快速增长。但是一旦依据的手册文件发生改版变更，原有题目是否依然正确且有效是存疑的，这需要人工投入大量时间对题库中的题目进行评估和复核，该工作量随着题库规模的增大，已经变为一项几乎不可能完成的任务。 新拟定的试题和现有题库中的试题相比，是否是重复性的试题？也无人力资源投入进行分析和判断，从而进一步导致题库规模的无节制增大，成为了一个死循环。
02 需求分析
1、培训考核涉及的文件数量较多
2、培训考核涉及的文件变动频次较高、应用场景较为频繁
| 培训场景 | 频率 |
|---|---|
每月平均开展手册类培训次数 | 8~10次 |
每月开展技术类文件培训次数 | 8次 |
每月开展岗位授权类考试、技术等级评定、各类安全活动如知识竞赛 | 1次 |
以上培训场景每次均需对历史文件进行评估，对考题库进行更新修订。
3、人工拟定题目费时费力
4、无法评估现有题目有效性
新拟定的试题和现有题库中的试题相比，是否是重复性的试题？也无人力资源投入进行分析和判断，从而进一步导致题库规模的无节制增大，成为了一个死循环。
需求分析
将培训管理人员从这种低效、工作量大、技术含量低的工作中释放出来，聚焦更高价值的工作：需要根据指定的材料文件，自动生成试题，包含单选题、多选题、判断题。生成的试题对比现有题库，重复率不得高于设定值。对现有题库进行定时识别分析，判断是否存在失效风险，若和手册文件不匹配，则生成修订意见，提醒培训管理人员进行复核确认。
采取措施
2、使用大模型的自然语言处理能力，根据提供的手册内容及试题生成的要求，生成试题。
1、工具选择
文件向量化方便快捷：该场景要求文件更新/新增的时候，能够及时进行向量库更新，以便能够生成试题使用。AutoBots平台提供配置化的向量库搭建能力，且打通了JoySpace，能对JoySpace中的文件快速进行解析并保存到数据库中，同时支持图片和表格的解析能力。在文档发生更新时，自动更新向量库的内容。解决了独立搭建时需要人工进行文件解析处理的问题，且解析和召回的准确度更高。
知识召回准确：AutoBots平台算法团队，对向量化的过程进行独立模型搭建，且算法调优，准确度得到保障。
流程编排能力：AutoBots平台支持通过流程编排的方式，快速对多个大模型、知识库、插件、文档解析等能力进行集成构建，支持复杂场景的实现。
2、整体流程设计
' fill='%23FFFFFF'%3E%3Crect x='249' y='126' width='1' height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
3、大模型流程设计
采用AutoBots平台的流程编排能力，进行大模型能力的构建。
3.1 接收指令
3.2 知识召回
3.3 大模型试题生成
通过大模型，结合召回的知识和试题生成的要求进行试题生成，由于需要和业务系统对接，所以需要对生成结果的格式进行指定，提示词如下：
# 角色你是一位专业的题库专家，擅长根据{{document}}的内容按照{{question}}要求生成对应题型的试题。你的专业知识和丰富经验使你能够准确地理解和转化用户的需求，生成满足要求的题目和答案。## 技能### 技能1: 生成单选题- 根据用户提供的内容，生成单选题。- 保证每个单选题至少有四个选项。- 选项编号按照ABCD排列- 输出格式：{"type":"固定值：singleChoice","question": "题目描述","options": [{"optionName":"选项编号","optionContent":"选项描述"},{"optionName":"选项编号","optionContent":"选项描述"}],"correctAnswer": "正确选项编号"}### 技能2: 生成多选题- 根据用户提供的内容，生成多选题。- 保证每个多选题至少有四个选项。- 选项编号按照ABCD排列- 输出格式：{"type":"固定值：multipleChoice","question": "题目描述","options": [{"optionName":"选项编号","optionContent":"选项描述"},{"optionName":"选项编号","optionContent":"选项描述"}],"correctAnswer": ["正确选项编号1", "正确选项编号2"]}### 技能3: 生成判断题- 根据用户提供的内容，生成判断题。- 输出格式：{"type":"固定值：trueOrFalse","question": "题目描述","correctAnswer": "Y or N"}### 技能4: 生成简答题- 根据用户提供的内容，生成简答题。- 输出格式：{"type":"固定值：shortAnswer","question": "题目描述","correctAnswer": "正确答案"}## 约束：- 只生成与用户提供内容相关的题目。- 必须遵守指定的输出格式，并以JSON数组的格式整合返回结果，且不要包含json前缀。- 保证每个题目的描述在100字以内。- 保证每个选项的描述在50字以内。- 保证每个题目的正确答案在50字以内。
3.4 结果返回
3.5 效果
知识库召回结果:
[{"type": "singleChoice","question": "根据CCAR-396-R3规定，民航局对在民用航空安全信息管理工作中做出突出贡献的单位和个人给予什么？","options": [{"optionName": "A","optionContent": "罚款"},{"optionName": "B","optionContent": "表彰和奖励"},{"optionName": "C","optionContent": "警告"},{"optionName": "D","optionContent": "培训"}],"correctAnswer": "B"},{"type": "singleChoice","question": "根据CCAR-396-R3规定，紧急事件发生后，事发相关单位应当在事件发生后多少小时内填报民用航空安全信息报告表？","options": [{"optionName": "A","optionContent": "6小时"},{"optionName": "B","optionContent": "12小时"},{"optionName": "C","optionContent": "24小时"},{"optionName": "D","optionContent": "48小时"}],"correctAnswer": "B"},{"type": "singleChoice","question": "根据CCAR-396-R3规定，民用航空安全信息工作实行什么原则？","options": [{"optionName": "A","optionContent": "统一管理、分级负责"},{"optionName": "B","optionContent": "分散管理、统一负责"},{"optionName": "C","optionContent": "自愿管理、分级负责"},{"optionName": "D","optionContent": "统一管理、统一负责"}],"correctAnswer": "A"},{"type": "singleChoice","question": "根据CCAR-396-R3规定，局方和企事业单位应当为民用航空安全信息管理人员配备哪些设备？","options": [{"optionName": "A","optionContent": "便携式计算机、网络通讯设备"},{"optionName": "B","optionContent": "移动存储介质、传真机"},{"optionName": "C","optionContent": "录音笔"},{"optionName": "D","optionContent": "以上都是"}],"correctAnswer": "D"},{"type": "singleChoice","question": "根据CCAR-396-R3规定，非紧急事件发生后，事发相关单位应当在事发后多少小时内填报民用航空安全信息报告表？","options": [{"optionName": "A","optionContent": "12小时"},{"optionName": "B","optionContent": "24小时"},{"optionName": "C","optionContent": "48小时"},{"optionName": "D","optionContent": "72小时"}],"correctAnswer": "C"}]
4、业务系统集成
5、持续升级
5.1 支持大批量试题生成
5.2 支持针对于整份文件的生成
基于向量库知识召回的方式进行实现的方式，由于向量库进行知识召回返回的是TOP N，因此势必会存在内容缺失，该种方式更加便于针对文档中的部分内容进行试题生成。后续将通过文件识别的方式，直接解析文件，根据整份文件内容进行生成。
5.3 生成的试题增加重复率限制
5.4 现有题库有效性识别
通过系统定时任务的方式，将通过试题题目进行文档知识召回，并将试题及试题相关的知识提交至大模型，由大模型进行有效性判断，若存在失效风险则返回标记及修改建议，在系统题库功能上进行着重表示并消息提醒相关用户，进行复核确认。
效能提升
简要总结
该案例不仅用在航空领域，在其他诸多需要生成试题，生成问卷等相关场景方面都可进行参考和尝试。当前现在试题生成能力也仅是实现在从0到1的落地建设，能力需要不断的打磨和完善，后续会逐步进行1到100，100到∞的升级。
