类库
› aurora
togethercomputer/aurora
Aurora是一个在线推测解码的统一训练-服务系统,通过实时推理数据持续训练草稿模型,实现动态优化。该系统支持零日部署,能立即提供服务并快速适应流量变化,提升大模型推理速度1.5倍以上。
技术栈
查看全部依赖 (1)
依赖
python
3.12