携程AI推理性能的自动化优化实践

摘要

近年来，人工智能逐渐在安防，教育，医疗和旅游等工业和生活场景中落地开花。在携程旅游业务上，AI技术同样广泛覆盖了多个旅游产品和旅游服务领域，携程度假AI研发根据旅游的特定场景和业务需求，将自然语言处理，机器翻译，计算机视觉，搜索排序等主流AI技术成功应用于旅游度假的多个业务线，例如自由行，跟团游，签证，玩乐和租车等。

从技术角度，为了适应不同的业务场景需求，涉及到多种AI技术，包括传统机器学习，卷积神经网络，Transformer等深度学习模型结构，以及知识图谱和图神经网络等技术领域。同时，为了充分挖掘AI技术的优势，模型设计复杂度日渐提升，包括模型深度，宽度以及结构复杂度等各个维度，计算量的增大使得AI推理性能瓶颈日益凸显，尤其是实时性的业务需求对推理速度要求更高。为了追求最佳推理性能，往往需要手动进行逐个优化，涉及的开发，部署和沟通成本都很高。主要问题集中在：

• 模型结构种类多，性能瓶颈差异较大，适用的优化方法各有不同，手动优化成本高；
• 优化方法众多，自上而下，涉及多种模型压缩方式，系统级，运行时优化等，手动优化门槛高；
• 逐个手动优化，可推广性差，技术覆盖面有限；
• 硬件平台的差异，需要针对性调优，导致优化的人力成本和部署成本都很高；
• 新模型的发布和迭代，需要应用优化方法，涉及较高的沟通和接入成本，同时带来了性能的不稳定性；
• 模型压缩技术对不同模型的优化效果有所差异，可能需要进行模型的再训练，训练和数据准备流程较长，效率低下；

因此，为了降低优化，部署和迭代成本，提高工作效率，并保证性能稳定，我们尝试搭建模型自动化优化平台，旨在为算法模型提供更全面易用，稳定性更好，使用和维护成本更低的优化解决方案。