字节跳动模型大规模部署实战

摘要

字节跳动内部模型部署方案,利用编译技术实现了模型前后处理的训推一体化,在字节跳动内部以中台的形式服务了大量核心业务,相关的方案已经开源。

欢迎在评论区写下你对这篇文章的看法。

评论

Home - Wiki
Copyright © 2011-2024 iteam. Current version is 2.129.0. UTC+08:00, 2024-07-04 14:50
浙ICP备14020137号-1 $Map of visitor$