LLM 与 Transformer 概览
可复习 · 待写自己的解释本章材料
更细的部分在本课程的 Token 与 Embedding 和 Attention 两个专题，对应 3Blue1Brown 第 5、6 章。
重点
- 大语言模型本质上是一个函数：输入一段文字，输出“下一个 Token 是什么”的概率分布。
- 生成文字，就是反复预测下一个 Token：选出一个，接在后面，再预测下一个。聊天机器人也是这样工作的，只是在你的问题前面先放了一段文字，设定“这是用户和 AI 助手的对话”。
- 选下一个 Token 时，通常不总是选概率最高的，而是按概率抽样，所以同样的问题每次的回答可能不同。温度（temperature）控制抽样的随机程度。
- 训练分几个阶段：先用海量网络文本做预训练（预测下一个词），得到只会续写的“基础模型”；再用人工写的问答示范微调，让它像助手一样回答；最后用人类对回答好坏的比较继续调整。
- 内部结构是 Transformer：文字切成 Token，查出 Embedding 向量；经过很多层 Attention 和 MLP 不断更新这些向量；最后把向量转换成下一个 Token 的概率。几十亿到上千亿个参数，都是训练中调出来的。
由 Claude 根据 3Blue1Brown《Large Language Models explained briefly》和 Andrej Karpathy《Intro to Large Language Models》 整理。读的时候哪一条看不懂，就把它记到「复习」的“我卡在哪里”。
难点
- 模型预测的是“像样的下一个词”，不是“正确答案”。 说得流畅不代表内容正确，模型编造内容（幻觉，hallucination）就是这样来的。
- 参数不是一条条存起来的知识，而是大量权重。没办法直接查“它知道什么、不知道什么”。
- 温度调低只会让回答更确定，不会让它更正确。 概率最高的词，也可能是错的。
- 基础模型不会“回答问题”，它只会续写文档。我们平时用的助手，是在基础模型之上继续训练出来的。
由 Claude 根据 3Blue1Brown 和 Andrej Karpathy 的这两个视频 整理。读的时候哪一条看不懂，就把它记到「复习」的“我卡在哪里”。
动手看
容易混淆的几个概念
| 概念 | 是什么 | 由谁决定 |
|---|---|---|
| 参数（权重） | 模型内部的几十亿到上千亿个数字 | 训练时调出来 |
| 上下文 | 模型这一次能看到的全部文字 | 用户和产品放进去的内容 |
| 概率分布 | 每个候选 Token 作为下一个的可能性 | 模型每一步实时计算 |
| 温度 | 抽样时概率分布有多尖或多平 | 产品或开发者设定 |
| 预训练 | 从海量文本里学习预测下一个词 | 训练的第一阶段 |
| 微调 / 人类反馈 | 学会以助手的方式回答 | 训练的后续阶段 |
一个记法：参数是学出来的，上下文是放进去的，温度是设出来的。
来源
- 学习材料：3Blue1Brown《Large Language Models explained briefly》；Andrej Karpathy《[1hr Talk] Intro to Large Language Models》。两个视频的 ID 都在 2026-10-29 核对过。
- 重点、难点和测验由 Claude 根据这两个视频整理。概率实验里的候选词和分数是人工设定的教学数值，计算有测试保证（
lib/nexttoken.test.ts）。