大家好，这里是作业帮技术团队。欢迎接收我的第26次推送，以下是今日的内容。

研究背景 

语音作为人与人交流的直接媒介，承载着人们日常生活中的大部分信息来源。基于近年来通信技术与物联网的发展，各式各样的语音助手、智能家具等软硬件层出不穷，人机交互技术的发展及人们对其需求日益攀升。语音识别技术在人机交互上扮演着重要的角色，任何因其导致的识别错误都可能在人机交互系统中的各个模块上传播，并最终导致交互失败。因此针对语音识别的研究具有重要的学术价值和应用价值。

混合语言现象常常出现在能够流利使用多种语言的群体中。英文作为全球的通用语言，就时常以各种形式与其他语言混合在一起。然而现有的大多数最先进的语音识别系统都专注于单语种语音识别，即它们一次只能处理一种语言，这样的系统无法识别中英混合语言的语音。随着语音技术开始渗透到人类生活的方方面面，混合语言的现象受到越来越多的关注。因此，开发用于中英文混合语言的自动语音识别(CSSR)系统尤为重要。

行业现状 

中英文混合语音识别算法属于多语言语音识别领域。但与常规多语言语音识别不同，常规多语言语音识别仅针对一句话中出现一种语言，而混合语言语音识别则是指同一句话中说话人会在两种语言间切换使用。尽管语言学家对混合语言现象已经研究了长达半个多世纪，随着近年来语音技术的不断突破，对混合语言语音识别的研究近二十年才被人们重视。针对中英文混合语音识别也是近十多年来才开始研究。

其技术难点主要表现为：嵌入语受主体语影响形成的非母语口音现象严重、不同语言音素构成之间的差异给混合声学建模带来巨大困难、带标注的混合语音训练数据极其稀缺。传统语音框架基于单一语种基础建模单元，如汉语是基于拼音的声母韵母、英语则是英文的音素，这种技术架构对指定语种的语言学知识依赖较大，难以扩展到多语种识别。

由于不同语言之间的声学单元相互独立，且声学属性不同，常规基于声学单元建模的 DNN-HMM 语音识别模型无法很好的建模不同语言之间声学属性的联系。而端到端模型无需对于声学单元建模，转而采用字符建模，模糊了建模单元与声学属性之间的关联。并且由于端到端模型能够考虑帧的上下文信息，可以有效建模语言转换点的声学属性。因此最近几年的研究[1][2]偏向于采用端到端方式搭建混合语言语音识别系统。

基于深度学习的端到端模型灵活且复杂，相较于传统语音识别，融合多任务学习也能够提升模型性能。考虑到混合语言语音识别系统的特有属性，有学者提出可以鉴于 LID 模型[3][4]能够判别语言之间的差异性，以进行分类。中英文混杂识别联合语种识别受到越来越多的关注，在识别文本内容的同时进行语言分类，以增强对不同语言的分辨能力。本文从[5][6]获取灵感，在端到端网络模型基础之上添加语种信息进行联合训练，期望增强模型对不同语言的识别以及判别能力。

作业帮实践 

3.1 实验细节介绍

为了便于后续讨论，首先介绍我们实验所采用的数据集、模型训练建模单元以及最终评价指标。

（1）我们的训练语料为作业帮标注的约1000小时的老师上课的英文授课混合数据集，并在其中随机取30小时作为训练开发集，6.7小时作为测试集，其余数据作为训练集。

（2）中文训练最小单元以汉字建模，但英文字母只有26个，因此以子词[7]替代字母作为英文的建模单元。从声学层面上，中文字符对应的音频长度远大于英文字母对应的长度，因此采用子词能够增大英文建模单元所对应的声学时长，从而减小中英文建模之间的差异，增强模型训练鲁棒性。

（2）在语音识别系统的评估中，若单元为字符，则该错误率称为字符错误率 (Character Error Rate, CER)。若单元为单词，则称为词错误率  (Word Error Rate, WER)。中英文混合语音识别系统由于包含两种语言，则中文部分计算 CER，英文部分计算WER，称为混合错误率（Mix Error Rate, MER）。

3.2 基线识别模型

混合语言语音识别本质上还是语音识别任务，为了方便说明结果，我们的基线识别系统采用语音识别框架Wenet[8]，Wenet网络结构设计借鉴Espnet的joint loss框架，这一框架采取Conformer Encoder + CTC/attention loss，利用帧级别的CTC loss和label级别attention-based auto-regression loss联合训练整个网络。这一框架是目前语音领域比较流行的框架之一。我们的实验也在其网络模型基础之上进行改进并对比实验效果。

3.3 语种信息联合训练

将语种信息加入中英文混合语言语音识别的网络模型训练，设X为声学模型的特征序列，Y为模型的预测输出的中文字符或者英文字词，Z 为语种预测的输出类别 ，则最终的模型损失函数由之前的公式(1)增加为公式(2)。

其中、分别模型训练的超参数 ，基线模型固定参数，在后续实验中，设置为0.7。

3.3.1 帧级别语种loss联合训练

在混合语言语音识别中，不同语言的具有相似发音的单元很有可能被识别错误，因此我们考虑对识别系统加入语言识别。整体框架如下图所示，Wenet编码器由基于Attention的解码器、CTC 和 LID 模块共享。它将输入序列 X 转换为高维特征 H。基于Attention的解码器和 CTC 生成输出序列 Y，而 LID模块则输出每一帧的语种ID。     

我们预先将数据集进行帧级别语种对齐，在实验中，我们利用的是之前训练过的中英文混合数据得到的chain模型，得到中英文混合数据的帧级别LID-label，在训练过程中，将语种信息的预测和label的交叉墒作为语种的损失函数进行联合训练，最终目标函数为公式（2）所示。

3.3.2 token级别语种loss联合训练

考虑到帧级别模型语种信息获取需要提前对中英文混合数据进行对齐，如果对齐不准，最终错误会累积。虽然模型在解码时，可以推断出语种信息，但是在模型训练中未加入此信息，因此在这直接进行token级别的语种信息联合训练，网络框架如下图所示。

在这里，我们探讨了两种 LID 的loss添加方式，一种是与语音识别任务共享相同的注意力模型（LID-shared），另一种是单独学习一个独立的注意力模型（LID-indep）。两种方法都使用与等式 (2) 中相同的目标函数。

3.3.3语种信息联合训练实验总结

1、3.3.2介绍过，token级别的语种信息添加有两种方式，即是否与识别系统共用Attention，为了更有效率的对比两种方式的优劣性，我们先在小数据集上进行对比，在1000小时训练集中随机抽取70小时作为训练集，进行实验对比，效果如下表：

3.4 混合语言错误类型分析

3.5 语言模型增强

3.6最终实验对比

总结与展望 

【参考文献】