虚假相关与数据泄漏
可复习 · 待写自己的解释本章材料
这一节没有对应的视频。材料是两个常被引用的研究案例，以及本页的投诉例子。
重点
- 虚假相关：模型抓住了一个在训练数据里碰巧和标签相关、但在现实中并不成立的线索。
- 投诉的例子：训练集里的紧急投诉大多带“！”，模型就学到了“！= 紧急”，于是把“！！想换个卡面颜色”也判成了紧急。
- 两个常被引用的案例：哈士奇与狼（Ribeiro 等，2016）里，模型主要靠背景里有没有雪来区分；哮喘与肺炎（Caruana 等，2015）里，模型学到“有哮喘的病人风险更低”，因为这些病人在历史上得到了更积极的治疗。
- 数据泄漏：训练时用了真实使用时拿不到的信息。离线评估看起来特别好，上线后却失效。
- 发现的方法：看模型重视什么（比如词的权重）；准备故意打破规律的测试样本；让领域专家审视错误；逐个问“判断的那一刻，这个信息真的已经存在了吗”。
由 Claude 根据 本仓库的监督学习自学材料 整理。读的时候哪一条看不懂，就把它记到「复习」的“我卡在哪里”。
难点
- 模型没有犯错，它忠实地反映了数据。 问题在于数据里的规律，和你真正想要的规律不一样。
- 如果测试集里也有同样的巧合，虚假相关就发现不了。 所以测试集要特意放进反例。
- 数据记录的是过去机构决策带来的结果，不是事情本身的真相。 哮喘案例里，把“历史结果”当成“病人本身的风险”来用，才是出错的地方。
由 Claude 根据 本仓库的监督学习自学材料 整理。读的时候哪一条看不懂，就把它记到「复习」的“我卡在哪里”。
动手看
虚假相关和数据泄漏
| 虚假相关 | 数据泄漏 | |
|---|---|---|
| 问题出在哪 | 数据里有一个碰巧成立的规律 | 输入里混进了未来或答案的信息 |
| 离线评估 | 测试集也有同样的规律时，发现不了 | 几乎总是好得惊人 |
| 上线后 | 遇到不符合规律的情况就出错 | 那个信息拿不到，整体失效 |
一个记法：虚假相关是学错了线索，数据泄漏是偷看了答案。
来源
- 案例：Ribeiro, Singh & Guestrin (2016) 提出 LIME 解释方法的论文中的哈士奇与狼；Caruana 等 (2015) 关于肺炎风险预测模型的研究。
- 重点、难点和测验由 Claude 根据 AI Product Design Lab 仓库的监督学习自学材料整理；权重是人工设定的教学数值。