Главная тема library logo Библиотека Библиотека кодов Магазин
развернуть

百度百舸打造大规模分布式推理集群的基础设施

摘要

百度百舸推出新一代大规模分布式推理基础设施，通过自动化编排、智能弹性伸缩和高性能流量调度三大支柱，解决了大模型部署中的规模、弹性和效率问题。其创新技术如FedInstance、静默实例和班车调度算法，显著降低了首token延迟30-40%，并提升了系统吞吐量15-20%，为千亿级大模型落地提供了坚实的算力支持。

阅读原文
xiaozi 于 2025-12-15 分享
8 海报分享
关联话题： #百度 #Kubernetes #Prompt

欢迎在评论区写下你对这篇文章的看法。

评论

Главная - Вики-сайт
Copyright © 2011-2025 iteam. Current version is 2.148.2. UTC+08:00, 2025-12-17 14:28
浙ICP备14020137号-1 $Гость$