Activation、Sigmoid 与准确率
可复习 · 待写自己的解释本章材料
重点
- activation 是神经元对当前输入的反应程度。 换一张输入图片，它就会变。
- 每个神经元做两步计算。 先把上一层所有的 activation 乘以各自的权重再求和，加上 bias，得到 z；再把 z 送进激活函数，得到这个神经元的 activation。
- 信号一层层往下传。 输入层的 activation 就是像素亮度；每一层的输出是下一层的输入；输出层的 activation 就是网络的答案。识别数字时，哪个输出神经元最亮，答案就是哪个数字。
- 网络学到的是权重和 bias，不是 activation。 3Blue1Brown 的例子里，权重和 bias 一共约 13,000 个，训练就是调整它们。activation 在每次输入时重新计算。
- 激活函数决定 activation 的范围。 第 1 章用 sigmoid，把 z 压进 0–1；现代网络的中间层更常用 ReLU，也就是 max(0, z)。
由 Claude 根据 3Blue1Brown《Deep Learning》第 1 章和 StatQuest 的 ReLU 一集整理。读的时候哪一条看不懂，就把它记到「复习」的“我卡在哪里”。
难点
- activation、准确率、概率是三种不同的东西。 activation 是一个神经元对一个输入的值；准确率是在一批带标签的数据上统计出来的；输出层的数值即使落在 0–1 之间，也不一定是校准过的概率。
- “在 0–1 之间”是 sigmoid 的性质，不是 activation 的定义。 换成 ReLU，activation 可以大于 1。
- 为什么必须有激活函数。 没有激活函数，叠多少层都只相当于一次“乘以权重再相加”，网络只能表示很简单的关系。
- “某个神经元负责识别某种笔画”只是理想化的想象。 3Blue1Brown 在第 2 章后半部分也指出，训练出来的网络中间层并不一定这样分工。
由 Claude 根据 3Blue1Brown 第 1–2 章整理。读的时候哪一条看不懂，就把它记到「复习」的“我卡在哪里”。
动手看
先看激活函数决定了 activation 的范围：
再把“一个圆圈里的数字”和“准确率”放在一起。第一张图片的 activation 正是视频里的 0.97，但这一批图片的准确率只有 60%：
容易混淆的几个数字
| 概念 | 是什么 | 属于谁 | 范围 |
|---|---|---|---|
| Activation 激活值 | 神经元对当前这一个输入的输出 | 一个神经元 × 一个输入 | 由激活函数决定：sigmoid 为 0–1，ReLU 为 0 以上 |
| Weight 权重 | 两个神经元之间连线的强度，训练时被调整 | 一条连线 | 任意实数 |
| Bias 偏置 | 加在加权和上的常数，决定神经元多容易“亮” | 一个神经元 | 任意实数 |
| 输出层的“把握” | 输出层的 activation，常被读成网络对答案的把握 | 输出层 × 一个输入 | 0–1，但不一定校准过 |
| Accuracy 准确率 | 一批带标签的数据里判对的比例 | 整个网络 × 一批数据 | 0–100% |
一个记法：activation 和“把握”都是对一个输入说的；准确率是对一批数据说的。
顺带一提：Logistic Regression 逻辑回归 就是一个用 sigmoid 的神经元。加权求和、加上 bias、经过 sigmoid，和这里完全一样。神经网络是把很多个这样的神经元一层层叠起来。
来源
- 原问题来自 ChatGPT「AI知识问答」的导出（2026-10-29 归档，第 41、43、47、51 条提问）。那份导出也包含 ChatGPT 的回答，但未经核校，这一页没有使用原回答。
- 参考解释、交互实验和测验由 Claude 编写；交互里的数值都是人工设定的教学数值，不来自训练好的网络。
- 学习材料：3Blue1Brown · But what is a neural network?（第 1 章）· Gradient descent, how neural networks learn（第 2 章）。