torchserve 在转转 GPU 推理架构中的实践

摘要

转转面向二手电商业务,在搜索推荐、智能质检、智能客服等场景落地了AI技术。在实践的过程中,也发现了存在GPU执行优化不充分,浪费计算资源,增加应用成本等问题。

此外还存在线上线下处理逻辑需要分别开发的情况,造成额外的开发成本和错误排查成本,对一些需要高速迭代的业务场景的负面影响不可忽视。本文将会重点介绍基于Torchserve进行推理服务部署架构优化的工程实践。

欢迎在评论区写下你对这篇文章的看法。

评论

trang chủ - Wiki
Copyright © 2011-2024 iteam. Current version is 2.137.3. UTC+08:00, 2024-11-28 17:46
浙ICP备14020137号-1 $bản đồ khách truy cập$