Hunyuan-MT ：腾讯混元轻量级大模型的翻译训练与优化实践

1. Hunyuan - MT ：腾讯混元轻量级大模型的翻译训练与优化实践郑茂

2. 自我介绍郑茂，现任腾讯混元技术专家，混元应用算法负责人。负责混元大模型在腾讯的应用落地，包括广告、社交、娱乐、教育、客服等业务的大模型应用层效果优化。技术研究方向包括大模型复杂推理、多轮对话、翻译、RAG、AGENT 等。在 ACL、AAAI、EMNLP、COLING、CVPR 等会议上发表数十篇论文。带领团队获得 WMT2025 翻译比赛诸多赛道第一名。

3. 目录 01 Hunyuan - MT 近期进展 02 Hunyuan - MT CASE 分享 03 Hunyuan - MT 模型训练方案详解 04 Hunyuan - MT 应用场景能力建设方案 05 经验总结 0 0 6 6 未来展望

4.

5. Hunyuan 01 - MT 近期进展

6. 关键进展 WMT2025 Hunyuan-MT开源 - 通用翻译赛道上，31个语种中30 个语种第一（超过Gemini-2.5-pro、 CLAUDE4、deepseek v3、qwen3 235b等模型）。 - 31个语种除了中文、英语、德语、日语等常见语种，也包含捷克语、马拉地语、爱沙尼亚语、冰岛语等小语种夺冠 - 开源Hunyuan-MT-7b翻译模型和Hunyuan-MT-Chimera翻译集成模型。 - 重点支持33个语种互译。特色能力包括5种民汉语言/方言互译、俚语翻译等 - Huggingface首页趋势榜排名第一，开源一周模型下载量破万，开源一周Github Star数量超500 多场景应用落地 - 接入腾讯会议（实时翻译、会后翻译），腾讯游戏出海翻译、企业微信（聊天记录翻译、邮件翻译），微信读书（划词翻译、书籍翻译）、 QQ浏览器（文件翻译、划词翻译），腾讯海外客服、腾讯云翻译等。开源 Github: https://github.com/Tencent-Hunyuan/Hunyuan-MT/ HuggingFace：https://huggingface.co/collections/tencent/hunyuan-mt-68b42f76d473f82798882597 混元官网体验：https://hunyuan.tencent.com/llm/zh?tabIndex=0 应用

7. 02 Hunyuan - MT CASE 分享

8. Hunyuan-MT-7B

9. Hunyuan-MT-7B 长难句俚语原文（摘自路透社）： Trump's Republican allies and members of the administration, including Vice President JD Vance, took to social media to criticize lawmakers who had grilled the health secretary."You're full of shit and everyone knows it," Vance said on X. 原文（摘自商业内幕）：No matter how you slice it, the August jobs report showed a weakening labor market. 页面翻译：特朗普的共和党盟友和政府成员，包括副总统 JD Vance，在社交媒体上批评了抨击这位卫生部长的立法者。“你满身都是狗屎，每个人都知道，”万斯在 X 上说。混元Hunyuan-MT-7B翻译：特朗普的共和党盟友及政府官员（包括副总统JD·万斯）纷纷在社交媒体上批评那些严厉质问卫生部长的议员。万斯在X平台上表示：“你们满口胡言，大家都清楚这一点。” 页面翻译：不管你怎么切片，8 月份的就业报告都显示劳动力市场疲软。混元Hunyuan-MT-7B翻译：无论从哪个角度来看，8月份的就业报告都显示劳动力市场正在疲软。

10. Hunyuan-MT-7B

11. Hunyuan-MT-Chimera-7B

12. 03 Hunyuan - MT 模型训练方案详解

13. Shy训练框架概览（WMT方案）

14. 如何进行多语言增训（CPT） P 采集/合成大量多语种数据训练数据语种配比涵盖33种语言和民族语言通过在小模型上进行实验，确定训练数据中最优语种配比 A 多语言增训对中英数据进行replay D 训练学习率调整训练学习率从较小学习率warmup到pretrain 的起始学习率，再进行cosine decay，平衡旧知识的遗忘和新知识的适应防止多语言增训影响中英能力 C

15. 如何获取高质量平行语料（SFT）高资源语种低资源语种先采用少量网络收集和内部人工标注的高质对于低资源语种，采用高资源语种（如英语）进行量数据训练一个融合模型，然后使用该融合桥接得到低资源语种之间的平行语料，再通过多维模型，将多个效果领先的大模型翻译结果进度质量打分进行筛选行融合，最终得到质量更高的翻译结果

16. 如何设计多语言RM（RL）通用翻译质量+ 领域翻译质量 2 1 基于规则评估+ 基于模型评估 3 4 有参考评估+ 无参考评估翻译独有RM+ 通用RM 多语言RM 设计方法

17. 如何提升低资源语种翻译效果（RL） SSR（Simple Self-Rewarding）强化学习训练方案利用回译方法，只依赖单语数据即可训练。让模型把语种A文本翻译成语种B，再翻译回语种A，通过计算两个语种A文本的相似性来得到reward信号。使用特定prompt对翻译质量进行打分，最终使用该打分进行GRPO强化学习训练。这样既能做到不依赖平行语料，又能做到翻译能力和翻译打分能力之间的相互促进。低资源语种效果达到同尺寸SOTA https://arxiv.org/pdf/2505.16637

18. 如何提升术语翻译效果（RL） TAT-R1训练方法在强化学习训练阶段，提出TAT-R1训练方法，在RM中引入术语词对齐、术语出现顺序、思维链是否包含关键术语等维度通用翻译能力不下降的情况下，模型术语翻译效果大幅度提升 https://arxiv.org/pdf/2505.21172

19. Hunyuan-MT-Chimera（RL）打造有参考翻译能力（ Translation with Reference ）在实际应用场景中，存在大量有参考翻译能力的需求，但是模型侧对于有参考翻译能力属于空白。

20. 04 Hunyuan - MT 应用场景能力建设方案

21. 应用场景能力建设带格式翻译典型场景：企微邮件翻译，QQ 浏览器网页翻译，腾讯视频字幕翻译。实时翻译典型场景：腾讯会议会中翻译，腾讯财报会同声传译， QQ 浏览器视频/直播翻译术语、例句库翻译典型场景：定制化翻译需求的场景、领域翻译专业度要求高词典翻译& 解释性翻译典型场景：划词翻译、教育场景倡议能力

22. 面相应用场景能力建设-1 带格式翻译解决方案： - 设计一协议承载原始格式信息，可以多个相邻文本一起翻译，保证翻译语义套连贯性。 - 借助LLM 和词对齐等工具构造训练数据，并人工check 确保数据质量 - SFT 进行冷启+GRPO 强化提升效果，reward 既关注翻译质量也关注格式信息保留效果实时翻译解决方案： - 模型小型化，采用更小激活参数模型 - 补充口语化数据，通过强化学习不断提升效果 - 重点增强多轮对话场景的模型上下文翻译一致性

23. 面相应用场景能力建设-2 术语、例句库翻译解决方案： - 建设翻译系统，提供可编辑、实时生效的术语、例句库检索模块 - 提升模型的术语指令遵循能力，适应多种语境词典翻译&解释性翻译解决方案： - 词典知识注入：收集词典数据，如牛津词典、 21世纪大英汉词典等 - 例句解释知识注入：解释性翻译数据收集

24. 05 经验总结

25. 关键经验总结高质量数据获取和构造是重中之重 - 离线构造和获取数据花费精力最多，时间最长 - 构造数据环节可以做很多模型优化的工作，辅助提升数据质量 Reward Model如何定义清晰非常有挑战 - 信达雅是否足够 - 多样化指令遵循如何满足强化学习阶段要稳定、长时间训练 - 强化学习算法的优化不可小觑，是拉开效果差距的关键 - 训练效率很关键

26. 06 未来展望

27. Hunyuan - MT 未来展望 DENSE模型架构升级文本翻译翻译模型 1 2 3 MOE模型架构记住更多词汇、支持更长上下文多模态翻译语音端到端翻译、图片/视频翻译翻译AGENT 用memory 解决长文翻译一致性等问题

28.

29. THANKS 大模型正在重新定义软件 Large Language Model Is Redefining The Software 微信