Home Topic library logo Library Mine
More

360AI 平台分布式推理建设

摘要

Ray与Kubernetes结合，通过Deepinfer项目简化分布式应用部署，提升资源利用和任务效率。Ray支持多节点、多GPU并行推理，KubeRay实现异构GPU资源管理，自动扩缩容优化成本与性能。vLLM引擎结合Ray，实现低延迟、高吞吐的分布式推理服务，满足大规模并发需求。

阅读原文
xiaozi 于 2025-06-23 分享
57 海报分享
关联话题： #360

欢迎在评论区写下你对这篇文章的看法。

评论

Home - Wiki
Copyright © 2011-2025 iteam. Current version is 2.144.0. UTC+08:00, 2025-06-24 06:54
浙ICP备14020137号-1 $Map of visitor$