LLM 与 Transformer 概览
可复习 · 待写自己的解释我卡在哪里
还没有记录。看视频或读重点时哪里不懂，就把原话记到这里，并注明是哪段视频的几分几秒。
我用自己的话解释
- 大语言模型每一步实际在做什么？聊天机器人的回答是怎么一点点生成出来的？
- 同样的问题问两次，为什么回答可能不同？温度起什么作用？
- 预训练、微调、人类反馈这几个阶段分别让模型学到了什么？
自动保存在当前浏览器，不跨设备同步。
写完再展开：参考解释
- 每一步都根据目前的全部文字，算出下一个 Token 的概率，选出一个接在后面，再重复。聊天回答就是这样一个 Token 一个 Token 接出来的。
- 因为选下一个 Token 时是按概率抽样的。温度越低，越常选概率最高的；温度越高，冷门的词越容易被选中。
- 预训练让模型学会像网络上的文字那样续写；用问答示范微调，让它学会以助手的方式回答；人类反馈让它的回答更符合人的偏好。
来源
- 学习材料：3Blue1Brown《Large Language Models explained briefly》；Andrej Karpathy《[1hr Talk] Intro to Large Language Models》。两个视频的 ID 都在 2026-10-29 核对过。
- 重点、难点和测验由 Claude 根据这两个视频整理。概率实验里的候选词和分数是人工设定的教学数值，计算有测试保证（
lib/nexttoken.test.ts）。