监督学习在 AI 中的位置
可复习 · 待写自己的解释本章材料
重点
- 监督学习是给模型看大量“输入 → 正确答案”的例子，让它学会从输入推出答案，再用到没见过的新输入上。
- 几个基本词：样本（一条投诉）、标签（紧急 / 普通）、特征（模型能看到的东西，比如投诉里的词）、训练（根据带标签的样本调整模型内部的参数）、预测、泛化（在没见过的数据上也能判断对）。
- “监督”指的是有人提供了正确答案。 标注者的判断标准，会直接变成模型要模仿的目标。
- 监督学习是一种训练方式，Transformer 是一种模型结构，两者不在同一层级。
- 大语言模型会经历好几种训练方式。 预训练是自监督（遮住下一个词让模型猜，标签来自文本本身），之后再做监督微调，以及基于人类反馈的强化学习。
由 Claude 根据 StatQuest 的机器学习入门和本仓库的监督学习自学材料 整理。读的时候哪一条看不懂，就把它记到「复习」的“我卡在哪里”。
难点
- 标签不是“真相”，是人做出的判断。 标注规则不清楚时，两个人会给出相反的标签，模型只能学到一个折中。
- 训练方式和模型结构是两个维度。 前者回答“从什么信号里学”，后者回答“模型长什么样”，一个模型可以先后经历好几种训练方式。
- 在训练数据上表现好，不等于学会了。 要看它在没见过的数据上的表现，这是下一个专题的内容。
由 Claude 根据 本仓库的监督学习自学材料 整理。读的时候哪一条看不懂，就把它记到「复习」的“我卡在哪里”。
用例子看
用银行投诉分级来对照这几个词：
| 术语 | 在投诉分级里是什么 |
|---|---|
| 样本 | 一条投诉 |
| 标签 | 标注者给它标的“紧急”或“普通” |
| 特征 | 模型能看到的东西，比如投诉里出现了哪些词 |
| 训练 | 根据这些带标签的投诉，调整模型内部的参数 |
| 预测 | 模型对一条新投诉给出的分数或判断 |
| 泛化 | 对没见过的投诉也能判断对 |
容易混淆的几个概念
| 概念 | 属于哪一类 | 说的是什么 |
|---|---|---|
| 监督学习 | 训练方式 | 从人给的标签里学 |
| 自监督学习 | 训练方式 | 从数据本身造出标签，例如猜下一个词 |
| 强化学习 | 训练方式 | 从奖励信号里学 |
| 逻辑回归 | 模型结构 | 加权求和，再经过 sigmoid |
| Transformer | 模型结构 | 很多层 Attention 和 MLP |
一个记法：训练方式说“从哪里学”，模型结构说“长什么样”。
来源
- 学习材料：StatQuest《A Gentle Introduction to Machine Learning》。
- 重点、难点、例子和测验由 Claude 根据 AI Product Design Lab 仓库里的监督学习自学材料整理。