返回AI书列表
📚 TheAIEra Book 13 章

从零构建大语言模型(LLMs from Scratch 通俗精讲版)

本书讲解整理自 Sebastian Raschka 的《Build a Large Language Model (From Scratch)》官方代码仓库(LLMs-from-scratch)。用大白话带你从零手写一个 GPT:文本处理、注意力、GPT 架构、预训练、微调,再一路讲到 KV Cache、GQA/MLA、MoE、Llama 3.2、DPO、LoRA 等现代大模型技术。

LLMGPT深度学习PyTorch书籍

📖 本书大纲

从零构建大语言模型:手写一个 GPT(通俗精讲版)

本书内容整理自开源项目 LLMs-from-scratch(作者 Sebastian Raschka,书籍《Build a Large Language Model (From Scratch)》的官方代码仓库,Manning 出版,ISBN 9781633437166)。

来源声明:本书基于 rasbt/LLMs-from-scratch 仓库整理而成,覆盖正文 7 章以及作者后续补充的进阶材料(KV Cache、注意力变体、MoE、Llama/Qwen/Gemma 等架构、DPO、LoRA 等)。代码版权归原作者所有。原书:Build a Large Language Model (From Scratch)。

这本书是给谁看的

这本书写给想真正搞懂大语言模型(LLM)到底是怎么运转的开发者。

和很多"调包"教程不同,这本书的态度是:不调用任何现成的 LLM 库,用 PyTorch 从零一行行把模型写出来。因为只有亲手写过一遍,你才会真的明白 ChatGPT 背后那些名词——token、注意力、预训练、微调——到底在干什么。

它适合这些人:

  • 有 Python 基础的开发者:这是最重要的前提。有它就够了。
  • 懂一点深度学习的同学:会觉得更顺,因为 LLM 就长在神经网络这套东西上。
  • 想从"会用 API"进阶到"理解原理"的工程师:读完你能看懂主流开源模型的架构图。

它不假设你精通 PyTorch。如果你只会一点点,甚至是零基础,附录 A 有从零开始的 PyTorch 速成。

这本书想回答的问题

一句话:ChatGPT 背后的大模型,拆开来到底长什么样?

本书的路线是:从零搭一个"小而完整"的教育模型,它的每一步都和 ChatGPT 背后上万亿参数的大模型完全同构——只是小几个数量级,小到你用一台普通笔记本就能跑起来。

数据怎么变成 token、注意力怎么算、GPT 怎么搭、怎么预训练、怎么微调成分类器和聊天助手……每个环节你都会亲手写一遍。

本书的读法(说人话版)

作者反复强调:按顺序读,因为每一章都依赖前一章。

每一章都按下面这个骨架来写,不绕弯子:

  1. 这章要解决什么问题:一句话说清目标。
  2. 用大白话讲原理:多用类比和"为什么",先讲清楚"这东西为什么需要存在",再看代码。
  3. 代码:保留原实现,关键处配注释和逐段解读。
  4. 关键概念:把本章的名词用一两句话钉死。
  5. 动手练习:对应原仓库的练习,做完才算真懂。

章节导航

第一部分 打地基:把一个 GPT 从零搭出来

第 1 章 理解大语言模型

本章没有代码,先建立整体地图:

  • LLM 是什么、为什么现在这么火
  • LLM 的架构根基:Transformer
  • LLM 的一生:预训练 → 微调
  • LLM 到底在做什么:预测下一个词
  • 高质量阅读这本书的方法

第 2 章 处理文本数据

把原始文本变成模型能吃的数字:

  • Tokenizer:把文本切成 token
  • 从 token 到 token ID:词表是怎么来的
  • Byte Pair Encoding(BPE)分词:为什么"子词"是主流
  • 滑动窗口 + input/target 对
  • Embedding:把 token ID 变成向量
  • 位置编码:让模型知道"谁在前谁在后"

第 3 章 编码注意力机制

注意力是 Transformer 的心脏,这一章手写它的全部变体:

  • 自注意力:让每个词先"看一看"其他词
  • 带因果掩码的自注意力:不许偷看未来
  • 为什么除以 √d:缩放的道理
  • Dropout 正则化
  • 多头注意力(Multi-Head Attention)

第 4 章 从零实现一个 GPT 模型

把前面的积木拼成一台真正的 GPT:

  • GPT 架构总览:残差、归一化、GELU、前馈
  • LayerNorm / GELU
  • 前馈网络(Feed Forward)
  • GPT-2 小模型配置
  • 生成文本:从概率分布里采样
  • 保存和加载权重

第 5 章 在无标注数据上预训练

让模型真正"学会说话":

  • 怎么衡量一个语言模型好不好(交叉熵、困惑度)
  • 训练循环:算损失、反向传播、更新权重
  • 解码策略:温度、top-k
  • 学习率预热与余弦退火
  • 过拟合与正则化
  • 加载 OpenAI GPT-2 权重做对比

第 6 章 微调:文本分类

把"会写字的模型"改造成"会分类的模型":

  • 微调到底在改什么
  • 准备数据集(垃圾短信识别)
  • 给 GPT 装一个分类头
  • 只微调部分层 vs 全量微调
  • 准确率评估与推理

第 7 章 微调:指令微调

让模型学会"听人话、按指令办事":

  • 指令微调和预训练的区别
  • 指令数据长什么样(Alpaca 格式)
  • 用 loss mask 忽略 padding
  • 微调模型遵循指令
  • 用 Ollama 上的 Llama 3 做自动评估

第二部分 进阶专题:现代大模型的那些"省钱"绝招

这部分对应原作者在路上额外补充的 bonus 材料——它们解释了今天主流大模型(DeepSeek、Qwen、Llama、Gemma)到底用了哪些技巧,把"能跑"变成"跑得快、跑得起"。

第 8 章 KV Cache:让推理提速 5 倍

  • 为什么每次生成一个词都要重算一遍历史
  • KV Cache 的核心:把算过的 Key/Value 存起来复用
  • 缓存怎么增删、怎么随上下文推进
  • 代价:显存换速度,以及它的优化思路

第 9 章 注意力的省钱变体:GQA / MLA / SWA / DeltaNet / DSA / 跨层 KV 共享

  • 分组查询注意力(GQA):多个头共用一套 K/V
  • 多头潜在注意力(MLA):把 K/V 压到低维再存
  • 滑窗注意力(SWA):只看附近的一段
  • Gated DeltaNet:用循环状态换掉注意力矩阵
  • DeepSeek 稀疏注意力(DSA):让每个词只挑最相关的几个看
  • 跨层 KV 共享:后面的层复用前面层的 K/V

第 10 章 MoE:用更少的算力装下更多知识

  • 前馈层才是参数大户
  • 用多个"专家"替换一个前馈层
  • 路由器:每个词只走几个专家
  • 共享专家与稀疏性带来的性价比

第 11 章 从 GPT 到 Llama 3.2 与现代 LLM 架构

  • 从 GPT 改造成 Llama 3.2 的每一步:RMSNorm、RoPE、SwiGLU、GQA
  • 加载 Meta 的预训练权重
  • 现代架构巡礼:Qwen3(Dense/MoE)、Gemma 3、Olmo 3、Tiny Aya、Qwen3.5、Gemma 4

第 12 章 DPO:用"偏好数据"对齐模型

  • 从"照着抄答案"到"知道哪个答案更好"
  • 偏好数据集怎么造
  • DPO 损失从零实现
  • 和 RLHF 的关系

第 13 章 LoRA:参数高效微调

  • 全量微调为什么贵
  • 低秩分解:只训练一小块矩阵
  • 把 LoRA 接进 GPT
  • 效果和成本对比

第三部分 附录

  • 附录 A PyTorch 入门与多 GPU(DDP):Tensor、autograd、nn.Module、训练一个小网络、多卡训练
  • 附录 B 参考文献与延伸阅读:按章节整理的推荐读物
  • 附录 C 练习题解答:各章练习的参考解法(散见于各章)
  • 附录 D 给训练循环加点料:梯度裁剪、EMA、学习率调度器对比
  • 附录 E 参数高效微调:LoRA:与第 13 章对应

关于原文与代码

  • 说人话,但不动技术细节:正文用通俗语言重讲原理,但涉及的概念、公式、代码逻辑都忠实于原仓库,不为了"好懂"而牺牲准确。
  • 代码保留原样:Python 代码不做改写,保留原始实现,关键处以注释和解读辅助理解。
  • 出处注明:每章标注对应的仓库路径与原始 notebook,方便对照原版。
  • 术语统一:token、embedding、attention、fine-tuning 等术语全书统一译法,首次出现处给出英文原文。

📑 章节目录

1

第 1 章 理解大语言模型

本章没有代码。用大白话讲清 LLM 到底是什么、它为什么会说话、Transformer 架构的来龙去脉,以及从预训练到微调的完整生命周期。

2

第 2 章 处理文本数据

在把文本喂给模型之前,得先把文字变成数字:分词、token ID、特殊 token、BPE、滑动窗口数据加载器,再到 token 嵌入与位置嵌入。

3

第 3 章 编码注意力机制

注意力是 LLM 的引擎。本章用大白话讲清自注意力为什么存在,并从零手写它的全部变体:基础自注意力、带权重的缩放点积注意力、因果注意力、dropout 与多头注意力。

4

第 4 章 从零实现一个 GPT 模型来生成文本

把前三章的积木拼成一台真正的 GPT:先讲清 LayerNorm、GELU、前馈网络、残差连接各自为什么存在,再逐块搭出 1.24 亿参数的 GPT-2 模型,最后写出文本生成函数。

5

第 5 章 在无标注数据上预训练

让模型真正学会说话:用交叉熵和困惑度给文本打分,跑通训练循环,用温度和 top-k 控制生成,最后直接加载 OpenAI 的 GPT-2 权重。

6

第 6 章 微调:文本分类

把只会续写的预训练 GPT 改造成一个垃圾短信判官:从准备数据集、填充对齐、换分类头,到算损失与准确率、动手微调,最后拿来给真实短信打分。

7

第 7 章 微调:指令微调

把预训练出来的‘会接龙但不听话’的 GPT,通过指令微调(SFT)调成‘听指令办事’的助手:Alpaca 指令格式、InstructionDataset、自定义 collate、masked loss,最后用 Llama 3 自动打分。

8

第 8 章 KV Cache:让推理提速 5 倍

用大白话讲清 KV Cache:为什么朴素生成是 O(n²)、缓存如何把算过的 Key/Value 存起来复用降到 O(n),并通过 27→144 tokens/sec 的实测讲透它的收益、显存代价与优化思路。

9

第 9 章 注意力的省钱变体:GQA / MLA / SWA / DeltaNet / DSA / 跨层 KV 共享

注意力是 LLM 最费显存的地方。本章用大白话讲清六种主流省钱思路——GQA、MLA、SWA、Gated DeltaNet、DSA、跨层 KV 共享,配上内存公式和关键代码,看现代大模型怎么把钱省下来。

10

第 10 章 MoE:用更少的算力装下更多知识

用大白话讲清混合专家(MoE)为什么存在:前馈层为什么是参数大户、路由器如何让每个 token 只走 top_k 个专家、共享专家有什么用,再逐段读懂上游的 SwiGLU 专家、路由器与稀疏前向实现,算清 DeepSeek-V3 的 256 专家 / 671B / 37B 这笔账。

11

第 11 章 从 GPT 到 Llama 3.2 与现代 LLM 架构

把第 4 章手写的 GPT 一步步改造成 Llama:LayerNorm 换 RMSNorm、绝对位置编码换 RoPE、GELU 换 SwiGLU、多头注意力换 GQA,再加载 Meta 的预训练权重跑通 Llama 3.2,最后巡礼 Qwen3、Gemma 3、Olmo 3、Tiny Aya、Qwen3.5、Gemma 4 等现代架构。

12

第 12 章 DPO:用「偏好数据」对齐模型

在指令微调之上再走一步:用「哪个回答更好」的偏好数据(chosen/rejected)把模型对齐到人类偏好。从偏好数据集怎么造、DPO 损失从零实现,到它和 RLHF 的关系,全部手写一遍。

13

第 13 章 LoRA:参数高效微调

微调得起、显存还省:用低秩适配(LoRA)把每次梯度更新拆成两个小矩阵相乘,冻结原权重、只训练这俩小矩阵,参数量降到原来的几十分之一,效果却几乎不打折。