如何训练你的 GPT

 How to Train Your GPT是一本从零开始构建世界级语言模型的指南。讲解方式让你像五岁孩子一样能听懂。构建方式让你像工程师一样能动手。

开发者制作这个指南的目标是学习一些我自己不完全理解的东西，尤其是注意力机制部分。我大量使用 AI 来理解关键概念并验证它们。

这是什么？

这是一本包含 12 个章节、超过 7,500 行代码的交互式教科书，教你如何从零开始构建、训练和运行一个现代语言模型——与 ChatGPT、Claude、LLaMA 和 Mistral 背后的架构属于同一家族。

除章节外，还有 21 个独立的主题讲解，深入涵盖每一项技术：RoPE、注意力机制、RMSNorm、SwiGLU、KV 缓存、AdamW、混合精度等等。此外还有两个叙事式 walkthrough，一步步追踪一个句子在整个模型中的完整路径。每个文件都遵循相同的风格：儿童化的语言、无术语堆砌、一个你可以运行的代码示例。

你不仅仅是阅读关于 Transformer 的知识。你将亲手逐行编写：tokenizer、嵌入、注意力机制、训练循环、推理引擎。每一行代码都有注释，解释它的作用以及为什么存在。