美团视觉 GPU 推理服务部署架构优化实践

摘要

美团视觉研发团队提出一种通用高效的部署架构,通过模型结构拆分和微服务化优化,解决了GPU利用率普遍偏低的性能瓶颈问题。本文系实践经验分享。

欢迎在评论区写下你对这篇文章的看法。

评论

Accueil - Wiki
Copyright © 2011-2024 iteam. Current version is 2.137.1. UTC+08:00, 2024-11-15 12:38
浙ICP备14020137号-1 $Carte des visiteurs$