美团视觉 GPU 推理服务部署架构优化实践

摘要

美团视觉研发团队提出一种通用高效的部署架构,通过模型结构拆分和微服务化优化,解决了GPU利用率普遍偏低的性能瓶颈问题。本文系实践经验分享。

欢迎在评论区写下你对这篇文章的看法。

评论

Home - Wiki
Copyright © 2011-2024 iteam. Current version is 2.137.1. UTC+08:00, 2024-11-05 16:30
浙ICP备14020137号-1 $Map of visitor$