uw-syfi/vibe-serve

VibeServe利用AI智能体为特定模型、硬件和负载定制生成专用的LLM推理服务系统。通过多智能体优化循环，自动生成调度、缓存及性能优化代码，旨在替代通用运行时，在主流及特殊场景下实现媲美vLLM的高性能部署。