腾讯太极团队实现DeepSeek模型业内H20最高性能15800+ tokens/s

腾讯太极团队实现 DeepSeek 模型业内 H20 最高性能 15800+ tokens/s

摘要

太极Angel-HCF团队通过PD分离、EP并行优化和多层MTP技术，将DeepSeek模型的推理性能提升至15800+ tokens/s。针对Prefill和Decode阶段的不同特性，团队采用差异化并行策略，优化KV Cache传输与负载均衡，并结合Hopper架构特性进行深度优化。此外，通过改进MTP采样方法和训练多层MTP权重，进一步提升了推理效率。