主动学习技术在作业帮业务场景中的创新与实践

大家好，这里是作业帮技术团队。欢迎接收我的第35次推送，以下是今日的内容。

业务背景

虽然目前基于 Transformers 架构的自然语言处理模型在各类工业场景落地过程中都表现出了优异的成绩，但其背后所需要的标注数据依然是日常工作中的重点，也是费时费力的瓶颈所在。怎样在我们数据标注过程中降低成本，便成了我们必须面对的问题。主动学习(Active Learning, AL) 便是我们尝试提高标注效率，降低整体标注和训练成本的重要技术手段。

主动学习，一种机器学习方法，是通过一定抽样策略找出对现有模型最有价值的样本数据，经人工标注后加入训练集，再次训练模型并继续以上步骤迭代的流程。简而言之，通过某种挑选方式，减少整体所需的标注数据量，尽快地接近业务需求的标准。

考虑到我们的业务场景，我们这里主要介绍pool-based的主动学习方法。在该场景中，我们在一个现有的数据池中通过挑选策略挑选新一批的无标签样本，交给标注人员(oracle)进行标注。

主动学习的核心便是挑选策略(查询策略)，在 pool-based 下常见的两个策略是不确定性采样和多样性采样。

2.2 既要又要，可否？

不确定性和多样性，代表了一个机器学习模型当前的两个重要盲区。而经典的主动学习数据抽取策略，如前文所述的方法，往往只能顾及到一端。那么，这个问题是鱼和熊掌不可兼得的吗？其实并不然。近年来，研究者提出了一些创新性的融合技术方案。一个主流的思路是先把不确定性衡量表达为某种可计算表示(representation)，然后基于这种表示进行聚类计算，最后通过纳入更丰富的簇中心点来达到多样性。

其中聚类计算可以采用很多经典的方法，比如k-means等。而不确定性的可计算表示(uncertainty representation)是最为关键的。非常有启发性的两个不确定性表示技术是BADGE和ALPS。

其中BADGE很巧妙地把梯度作为了不确定性的表示，由此启发了很多后续的工作。而ALPS把预训练模型常用的掩码语言模型损失作为不确定性表达，能较好地解决冷启动的问题。

2.3 他山之石可以攻玉：通过虚拟对抗扰动来表示不确定性

作业帮的很多业务场景，也需要同时考虑不确定性和多样性，因此我们在实践中也延续了这一思路。

BADGE和ALPS是两个很好的不确定性表示的方案，但不一定符合实践中的一些需求。比如，在很多我们面对的实际场景中，需要模型的鲁棒性比较强，也就是对噪音样本有较好的处理能力。因此，我们需要设计另外的不确定性表示方法。

我们看到，在很多图像处理场景中，会采用虚拟对抗扰动(Virtual Adversarial Perturbation)[6]来增加模型的鲁棒性和泛化能力。于是，我们将其借鉴过来，提出了一个基于虚拟对抗扰动的不确定性表示。具体地，通过针对BERT 的隐层表达创建其一一对应的虚拟对抗扰动(VAP)来作为样本数据的不确定性表示。相应地，提出了一个新的主动学习方案VAPAL(Virtual Adversarial Perturbation based Active Learning)。在VAPAL中，我们依然是遵循了不确定性学习+聚类的主体思路。

VAPAL相关算法已经集成在作业帮内部自研的人机协同标注平台中。

从图中可以看出，整个人机协同的标注迭代流程中，通过主动学习抽取的样本，经人工标注后，补充到训练数据后，训出的新模型能更快地符合标注复核人员的要求，从而完成对很多类别的自动扩标，极大地提升标注效率(本例中是10+倍的效率提升)。

下图是展示了一个同类型同规模任务，分别采用纯人工标注和人机协同主动学习快速标注的项目效果对比。

我们从业务需求出发，通过引入主动学习提高了业务的数据标注效率。引入虚拟对抗扰动(VAP)，提出了一个和当前最优技术方案可比甚至在初期表现更优秀的新改进方案 VAPAL。在实际使用中，我们发现了现有抽选策略(除了随机之外)都对随机种子有着相对的敏感性，后期我们将在这个方向上更进一步的优化。关于VAPAL的详细介绍，可以参见文献[9]。

参考文献:

1.Scheffer, T., Decomain, C., & Wrobel, S. (2001). Active hidden markov models for information extraction. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2189, 309–318. https://doi.org/10.1007/3-540-44816-0_31

2.Ido, D., & Sean P, E. (1995). Committee-Based Sampling For Training Probabilistic Classi ers. MACHINE LEARNING-INTERNATIONAL WORKSHOP THEN CONFERENCE, 150–157. https://doi.org/10.5555/3091622.3091641

3.Culotta, A., & McCallum, A. (2005). Reducing labeling effort for structured prediction tasks. Proceedings of the National Conference on Artificial Intelligence, 2, 746–751.

4.Sampling, C. U., Sampling, D., Regression, L., & Trees, D. (n.d.). Monarch - Human-in-the-Loop Machine Learning_ Active learning and annotation for human-centered AI-Manning.

5.Settles, B. (2009). Active Learning Literature Survey, (January).

6.Miyato, T., Maeda, S. I., Koyama, M., & Ishii, S. (2019). Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 41(8), 1979–1993. https://doi.org/10.1109/TPAMI.2018.2858821

7.Ash, J. T., Zhang, C., Krishnamurthy, A., Langford, J., & Agarwal, A. (2019). Deep Batch Active Learning by Diverse, Uncertain Gradient Lower Bounds. Retrieved from http://arxiv.org/abs/1906.03671

8.Yuan, M., Lin, H.-T., & Boyd-Graber, J. (2020). Cold-start Active Learning through Self-supervised Language Modeling, 7935–7948. https://doi.org/10.18653/v1/2020.emnlp-main.637

9.Zhang, H., Zhang, Z., Jiang, H., & Song, Y. (2022). Uncertainty Sentence Sampling by Virtual Adversarial Perturbation. Retrieved from http://arxiv.org/abs/2210.14576

主动学习技术在作业帮业务场景中的创新与实践

解决方案

2.2 既要又要，可否？

2.3 他山之石可以攻玉：通过虚拟对抗扰动来表示不确定性