万字入门AI Infra：深入理解大模型中的数学与Infra优化

万字入门 AI Infra：深入理解大模型中的数学与 Infra 优化

摘要

从RMSNorm到Softmax，再到Causal Mask和Gumbel-Max采样，大模型推理的底层优化本质是用数学等价变换或精度妥协，换取更高硬件利用率和极致速度。理解这些核心操作的数学与Infra逻辑，就能看清AI Infra如何将理论落地为工程实践。