广告深度学习计算：阿里妈妈大模型服务框架HighService

广告深度学习计算：阿里妈妈大模型服务框架 HighService

摘要

HighService是阿里妈妈推出的高性能Python AI服务框架,支持视频、图文、LLM等多种模型,显著提升推理速度与资源利用率。面对大模型需求激增,HighService通过优化推理加速、全局资源调度及快速业务上线,解决了GPU供给不足的挑战。它采用CPU/GPU分离架构,支持在线与离线场景的动态资源调配,确保在线用户体验的同时提高离线任务产量,助力大模型在阿里妈妈业务中的广泛应用。