第 1 章 理解大语言模型
第 1 章 理解大语言模型
本章来源:本文整理自 LLMs-from-scratch 仓库的 ch01/README.md 与作者的《如何读一本技术书》,原书为 Sebastian Raschka《Build a Large Language Model (From Scratch)》。
这章要解决什么问题
一句话:在动手写代码之前,先把脑子里的地图画出来。
这一章没有一行代码。它的任务是把后面 12 章要用到的所有大名词——LLM、Transformer、预训练、微调——先"用白话过一遍",让你知道它们各自是什么、为什么存在、彼此是什么关系。
读完这章你不会写出任何程序,但你会知道:我们要造的这个东西,到底是干嘛的。
用大白话讲原理
LLM 到底是啥?一句话:超大型的"文字接龙机"
大语言模型(Large Language Model,简称 LLM),你可以先粗暴地理解成一款极其擅长"接龙"的程序。
你给它一段话,它吐出下一个字。就这么简单:
输入:今天天气真
输出:好但它和输入法不一样的地方在于——它不只是接下一个字,它能一直接下去,写出完整的句子、段落、甚至一整篇文章。ChatGPT 干的事,本质上就是这个"接龙"动作,重复成千上万次。
关键点:模型每次只预测"下一个词"。所谓"写作"、"回答",都是把这个动作不断重复的结果。
那它凭什么接得这么准?答案是:它读过的东西多到离谱,而且它在读的过程中自己总结出了规律。 这就是"大"字的含义——不是模型"聪明",而是它见过的文本量、和它内部存下的参数,都大到了一定的量级。
它为什么能"看懂"人话?因为语言本身有规律
你可能觉得"预测下一个词"太简单了,怎么可能撑起 ChatGPT?这里有个反直觉的地方:
要想预测准确,模型被迫学会理解语言。
举个例子,你要预测这句话的下一个词:
"我把钥匙插进锁孔,然后拧了**____**"
要答对"一圈",模型必须理解:钥匙、锁孔、拧,这三个词是一组物理动作。它得懂点常识。再比如:
"这家餐厅的菜很好吃,但是服务态度**____**"
答"很差",需要懂"但是"表示转折。所以——"预测下一个词"这个简单目标,逼着模型把语法、常识、逻辑、甚至部分推理能力,全都学进去了。 这是整本书最核心的一个洞察。
还有一个常被忽略的点:语言模型不需要人工标注的数据。 网上的文章、代码、书籍本身就是"标准答案"——因为文本里下一个词是现成的。这让它能拿几乎无限的数据来训练。相比之下,"判断一条短信是不是垃圾短信"这种任务,需要人工一条条打标签,数据量根本不是一个量级。
LLM 为什么突然就火了?
LLM 的底层技术(Transformer)2017 年就出现了,但真正引爆是 2020 年前后。原因不是某天突然冒出个天才想法,而是几个条件同时满足了:
- 算力够了:GPU 越来越强,堆得起。
- 数据有了:互联网上现成的海量文本。
- 架构对了:Transformer 这种结构,刚好特别适合大规模并行训练。
这三样凑齐,模型规模一大,"涌现"就发生了——很多小模型完全不会的能力(比如推理、翻译、写代码),在规模跨过某个门槛后突然就冒了出来。
一句话总结:LLM 的爆发不是单一突破,是"架构 + 数据 + 算力"三件事同时到位的产物。
架构根基:Transformer 是怎么回事
要理解 LLM,绕不开 Transformer。别被名字吓到,它的核心机制叫注意力(attention),你可以这样理解:
读一句话的时候,你不是平铺直叙地一个个字读过去,而是会不断回看前面的词,判断哪个词跟当前这个词关系最紧。比如读"银行"这个词时,"银行"到底指河边还是存钱的地方?你得回头看上下文里的"河堤"还是"存款",才能定。
注意力机制就是把这件事自动化:让每个词都能"看一眼"其他所有词,按相关程度加权,把信息融进自己。
Transformer 相比更早的循环神经网络(RNN)有个决定性优势:它天然能并行计算。 RNN 必须一个词接一个词地算(第 3 个词要等第 2 个词算完),慢;Transformer 里所有词的位置可以同时算,这就让"大规模训练"变得可行。
本书会带你从零把这个注意力机制写出来,一行行代码地写,不调库。
LLM 的一生:预训练 → 微调
这是本书的骨架,也是理解所有 LLM 项目的基本框架,分两个阶段:
第一阶段:预训练(pretraining)
拿海量无标注文本,让模型做"文字接龙"练习。训练完,它就成了一个**"什么都会一点、但不太听话"的通用文本生成器**。它懂语言、懂常识,但你问它"帮我写封邮件",它可能给你续写出几封别的邮件——因为它只是在接龙,不是在"听指令办事"。
第二阶段:微调(finetuning)
在预训练模型的基础上,用小得多、但更对路的数据继续训练,把它调到具体任务上。书里讲两种最典型的微调:
- 分类微调:把它改造成"判断这条短信是不是垃圾短信"的分类器。
- 指令微调:把它调成"会听指令、按你说的办"的助手——这一步做完,它才像 ChatGPT。
一句话区分:预训练是"读完整个图书馆",微调是"上岗前针对岗位做的专项培训"。
造一个 LLM 的完整生命周期
把上面串起来,做(或用一个)LLM 的完整流程是这样的:
原始文本 → 分词(tokenize) → 模型架构 → 预训练 → 微调 → 使用/推理
↑ ↑
数据准备 算力 & 调参本书会带你把这条流水线的每一段亲手实现一遍,只不过规模缩小到能在普通笔记本上跑。但请注意——"小"只是数量级上的小,结构上和 ChatGPT 背后的大模型是完全同构的。 你在这里学到的每一块,放大规模后就是那些千亿参数模型的样子。
关于本章代码
本章没有代码(There is no code in this chapter)。
补充材料
原仓库在这一章提供了两样东西:一份《如何最大化利用一本技术书》的阅读建议,和两段视频(作者个人搭建 Python 环境的方法、本书覆盖的 LLM 开发生命周期概览)。
作者的读书法:五步走
作者被读者问得最多的一个问题就是"怎样才能从这本书里收获最多"。他给的方法如下。不是金科玉律,但很实用。
对这本书,作者强烈建议按顺序读,因为每一章都依赖前一章。至于每一章内部:
1)第一遍:离线通读,不要碰代码
一口气把整章读完,目的是先看到全貌。最好离开电脑——纸质书或电子墨水屏都行,重点是别被浏览器、社交媒体打断。
建议做一次短而专注的 20 分钟阅读,别卡在细节、别查资料。看到困惑或有趣的地方做个标记就好。
2)第二遍:亲手敲代码并运行
第二遍要把代码敲进编辑器跑一遍。复制粘贴很省事,但作者的经验是:亲手敲一遍会逼你多想一步,效果完全不同。
如果结果跟书上对不上,就去看书的 GitHub 仓库,再排查是不是包版本、随机种子、CPU/CUDA 之类的差异。实在不行,去书论坛或 GitHub 的 issues/discussions 问。
3)做练习
敲完、跑完代码之后,做练习。它能帮你把理解"钉死"。练习太难时看答案没关系,但先认真自己试一次。
4)回顾笔记,查漏补缺
回头看前两遍做的标记,看看还有哪里不清楚。这时正是查参考资料、搜一搜疑点的好时机。把有用的洞见和代码片段记到笔记里。
5)用到自己的项目里
前四步都是"吸收"。这一步是"用出去"——试着把书上某个点用到自己的项目里,或者基于书里的代码搭个小东西。找灵感可以看看 bonus 材料,那基本都是作者为了满足自己好奇心做的小项目。
举例:读完多头注意力后,你可能会好奇"换成分组查询注意力(GQA)会怎样?"、"RMSNorm 和 LayerNorm 到底差多少?"——这些好奇,正是后面"进阶专题"要回答的。
一点补充:以上都不绝对。如果某个主题你早就会,略读一章完全没问题,别浪费时间;没有代码的章节(比如本章),跳过代码相关步骤也合理。
关键概念
- LLM(Large Language Model,大语言模型):用海量文本训练出来的语言模型,本书手写的 GPT 就是其中一类。
- 下一个词预测(next-token prediction):LLM 的核心训练目标。就是"文字接龙",但这个简单目标逼着模型学会了语言和常识。
- Transformer:LLM 的架构基础,核心是注意力机制。本书会从零手写。
- 注意力(attention):让每个词"看一眼"其他所有词、按相关程度加权融合信息的机制。
- 预训练(pretraining):在海量无标注文本上训练,让模型学会"语言",产出通用文本生成器。
- 微调(finetuning):在预训练模型上,用少量针对性数据继续训练,把它调到具体任务(分类、听指令)。
- Token:模型处理文本的最小单位,可以是一个词、一个子词或一个字符。第 2 章细讲。
动手练习
第 1 章没有代码练习。如果读完想检验理解,试着用自己的话向别人解释这两句话:
- "LLM 本质上就是在做文字接龙,为什么这么简单的事能撑起 ChatGPT?"
- "预训练和微调,到底差在哪?"
能把这两句讲清楚,这张"地图"就画好了,可以进入第 2 章动手写代码了。