AI Infra入门干货总结：大模型是如何高效推理的

AI Infra 入门干货总结：大模型是如何高效推理的

摘要

LLM推理中，Continuous Batching将调度从请求级下沉到token级，提升GPU利用率；Paged Attention通过页表管理KV Cache，解决显存碎片。推理流程从Tokenize、Embedding到Transformer Block，涉及RMSNorm、RoPE、FlashAttention等关键计算，最终经过LM Head和Sampling生成下一个token。