torchserve在转转GPU推理架构中的实践

torchserve 在转转 GPU 推理架构中的实践

摘要

转转面向二手电商业务，在搜索推荐、智能质检、智能客服等场景落地了AI技术。在实践的过程中，也发现了存在GPU执行优化不充分，浪费计算资源，增加应用成本等问题。

此外还存在线上线下处理逻辑需要分别开发的情况，造成额外的开发成本和错误排查成本，对一些需要高速迭代的业务场景的负面影响不可忽视。本文将会重点介绍基于Torchserve进行推理服务部署架构优化的工程实践。