国产算力·昇腾 910C 大模型推理优化（下）：源码修改与算子优化，提速30%

国产算力·昇腾 910C 大模型推理优化（下）：源码修改与算子优化，提速 30%

摘要

昇腾910C推理优化实践：从源码修改到算子融合，系统性压缩解码延迟。通过多流重叠、CPU快路径、掩码缓存等技巧降低host开销，融合通信与计算，使真实场景TPOT降65%至5毫秒。方法论强调逐项优化与版本迁移验证，高并发与编译优化仍是后续方向。