大模型推理优化系列2：投机采样

大模型推理优化系列 2：投机采样

摘要

投机解码技术演进：从EAGLE系列到DSpark，核心是打破自回归串行约束，通过轻量草稿模型快速生成候选token，再由目标模型并行验证。EAGLE-3引入训练时测试与多层特征融合，DFlash用块扩散并行起草，DSpark以半自回归与置信度调度实现生产级加速，收益随任务确定性、模型更新和并发度变化。