手把手带工程同学从零实现一个完整的 LLM（CS336）——Transformer 篇

手把手带工程同学从零实现一个完整的 LLM（CS336）——Transformer 篇

摘要

从MLP入门到手撕Transformer，本文拆解了Embedding、Attention、RoPE、RMSNorm、SwiGLU等模块，并用TinyGPT演示语言模型训练与生成。通过作业题核算参数量和FLOPs，直观理解模型规模与计算开销。