多媒体时代的机器翻译及在字节跳动的应用

1. 多媒体时代的机器翻译在字节跳动的应用程昱字节跳动资深算法工程师 2021/9/25 1

2. 1.字节跳动的机器翻译应用 2.多媒体机器翻译的方向和实践 3. Q & A 2 2

3. 3 字节跳动的机器翻译应用

4. 机器翻译——解决语言障碍 4 4 将一种语言自动翻译成另一种语言的计算机技术 www.volcengine.com

5. 机器翻译的应用场景——信息获取 5 https://translate.volcengine.com/translate … www.volcengine.com

6. 机器翻译的应用场景——信息交流实时聊天翻译 6 视频会议 … www.volcengine.com

7. 机器翻译的应用场景——信息发布文档翻译 7 机器同传 www.volcengine.com

8. 机器翻译的应用场景——信息发布 8 www.volcengine.com

9. 9 多媒体翻译的方向和实践

10. 神经机器翻译 Neural Machine Translation, NMT 10 神经机器翻译基本原理 www.volcengine.com

11. 神经机器翻译 Neural Machine Translation (NMT) 11 $ 经典 NMT：给定一个源语言文本（句子）从左到右逐词生成翻译结果 P 𝑌 𝑋 = % 𝑝(𝑦 ! |𝑦 %! , 𝑋; 𝜃) !"# 大概可以这么理解，但实际情况不完全是这样 Decoder：语言模型，将目标语言的语义表示转换成通顺的句子 Attention:：翻译模型，将源语言的语义转换成目标语言的语义表示 Encoder：理解模型，将源语言的句子转换成语义表示 www.volcengine.com

12. 神经机器翻译 Neural Machine Translation 12 AI ≈ 数据+模型+训练 Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems. 2017. www.volcengine.com

13. Please Keep These in Mind 机器翻译的核心：翻译质量随着NMT的发展，翻译质量越来越高，机器翻译的应用也有了更多可能性（如多媒体翻译）机器翻译从左到右生成三大组件理解模型翻译模型语言模型双语平行数据 + Modeling www.volcengine.com

14. 多媒体翻译成为可能 14 需求最大的多媒体场景：视频语音 www.volcengine.com

15. 语音翻译 15 将说话人的语音（如英文）翻译成目标语言（如中文） www.volcengine.com

16. 级联方式 vs 端到端 16 Which one is better? www.volcengine.com

17. 工业级最佳实践：级联方法 17 数据资源是目前仍然使用级联方法的本质原因 MT：千万级 E2E：十万级 www.volcengine.com

18. 级联语音翻译不等于简单 ASR+MT 18 www.volcengine.com

19. 级联语音翻译 19 基本点：ASR 到 MT 的中间层 www.volcengine.com

20. 为什么需要中间层？ ASR 输出的不规范性是影响语音翻译的主要因素之一（约占错误的 50%） 20 ASR 的输出不等于正确切分的语义单元 ASR 的输出不等于规范无歧义的书面文本 www.volcengine.com

21. 解决方案：结合文本和语音信息的多模态标点断句 21 在 ASR 输出的每个词后面预测标点，并根据终止标点进行断句。 Baseline: 纯 NLP 的模型 https://github.com/nkrnrnk/BertPunc How to improve 基于 Pretraining, 充分利用数据资源 3 种信息同时贡献，达到最佳性能多任务学习，有/无语音信息均支持 www.volcengine.com

22. 级联语音翻译 22 核心：MT 的翻译质量 www.volcengine.com

23. 提升的一个思路：利用用户反馈实时提升质量 23 不规范的输入，如网络用语，机器翻译质量通常不好黑话频发，需要频繁更新翻译结果的场景，这将是灾难怎么用？用户建议译文：Cheap out, you can bargain www.volcengine.com

24. 业界通用的一些方案加数据重新训练，太慢 24 中：便宜出，可以小刀英：Cheap out, you can knife 加缓存，下一次一模一样的翻译能翻对了，太多，不现实加短语干预，所有小刀都翻译成bargain，不健壮 www.volcengine.com

25. 解决方案：结合检索的机器翻译 25 Jiang Qingnan, Wang Mingxuan, Cao Jun, Cheng Shanbo et al. ”Learning Kernel-Smoothed Machine Translation with Retrieved Examples." arXiv preprint arXiv:2109.09991 (2021). www.volcengine.com

26. 能达到什么样的效果 26 www.volcengine.com

27. 机器翻译质量 27 另一个思路：理论上无穷无尽的单语怎么用 www.volcengine.com

28. 回顾一下 NMT 的三大组件 28 单语数据可以超出双语平行语料 1-2 个数量级三大组件例如中英双语数据在亿级别英文单语可能有 10-100亿我们以前把 BERT（理解模型） for NMT 做 work 了 Attention（翻译模型）可以用双语数据来训练那么 GPT（语言模型）呢？ Yang, Jiacheng, et al. "Towards making the most of bert in neural machine translation." Proceedings of the AAAI Conference on Artificial Intelligence . Vol. 34. No. 05. 2020. www.volcengine.com

29. BERT + Graformer + GPT 29 Sun, Zewei, Mingxuan Wang, and Lei Li. "Multilingual Translation via Grafting Pre-trained Language Models." arXiv preprint arXiv:2109.05256 (2021). www.volcengine.com

30. 能达到什么效果 30 学到了一些有趣的表达，exciting! Sun, Zewei, Mingxuan Wang, and Lei Li. "Multilingual Translation via Grafting Pre-trained Language Models." arXiv preprint arXiv:2109.05256 (2021). www.volcengine.com

31. 我们的一些工作 31 Learning Kernel Smoothed Machine Translation with Retrieved Examples Multilingual Translation via Grafting Pre-trained Language Models Learning Shared Semantic Space for Speech-to-Text Translation Vocabulary Learning via Optimal Transport for Neural Machine Translation www.volcengine.com

32. 欢迎加入 32 扫码关注扫码关注 “火山引擎开发者社区”公众号 “火山翻译”公众号 32 www.volcengine.com

33. www.volcengine.com