torchserve在转转GPU推理架构中的实践

torchserve 在转转 GPU 推理架构中的实践

摘要

1 背景2 问题和解决思路3 torchserve实践过程3.1 torchserve使用与调优3.2 预处理和后处理部分优化3.3 Torchserve on Kubernetes4 后续工作1 背景转转面向二手电商业务，在搜索推荐、智能质检、智能客服等场景落地了AI技术̀