从源码分析 vllm + Ray 的分布式推理流程

摘要

本文从源码入手重点分析了vllm+ray如何实现分布式推理,也介绍了一些分布式通信方式及模型分布式切分的基本知识。

欢迎在评论区写下你对这篇文章的看法。

评论

Home - Wiki
Copyright © 2011-2024 iteam. Current version is 2.129.0. UTC+08:00, 2024-06-28 05:19
浙ICP备14020137号-1 $Map of visitor$