类库 › aurora
togethercomputer

togethercomputer/aurora

Aurora是一个在线推测解码的统一训练-服务系统,通过实时推理数据持续训练草稿模型,实现动态优化。该系统支持零日部署,能立即提供服务并快速适应流量变化,提升大模型推理速度1.5倍以上。

技术栈

查看全部依赖 (1)

依赖

python 3.12

评论

首页 - Wiki
Copyright © 2011-2026 iteam. Current version is 2.155.1. UTC+08:00, 2026-04-01 21:15
浙ICP备14020137号-1 $访客地图$