多轮 Agent 场景下,滴滴的 EAGLE-3 训推加速实践

摘要

在Agent长上下文场景中,EAGLE-3通过TTT训练和统一序列并行(USP)解决了长序列训练的显存瓶颈,实现128K上下文稳定训练。推理时,相比MTP方法,TPOT均值提升约2.4倍,P95尾部延迟降低35%-44%,显著提升多轮工具调用的推理效率。

欢迎在评论区写下你对这篇文章的看法。

评论

trang chủ - Wiki
Copyright © 2011-2026 iteam. Current version is 2.155.2. UTC+08:00, 2026-05-14 23:44
浙ICP备14020137号-1 $bản đồ khách truy cập$