类库 › time-to-first-token
patchy631

patchy631/time-to-first-token

这是一个为期10周的LLM推理服务优化学习路线图。通过每天30分钟,构建并部署一个OpenAI兼容的推理服务,涵盖vLLM、量化、推测解码及基准测试,旨在帮助工程师掌握生产环境下的LLM推理实战技能。

评论

首页 - Wiki
Copyright © 2011-2026 iteam. Current version is 2.155.2. UTC+08:00, 2026-08-19 21:01
浙ICP备14020137号-1 $访客地图$