Activation、Sigmoid 与准确率

1. 0.97 是什么？ 是这个神经元的 activation（激活值）：对当前这一张输入图片，它“亮”的程度。神经元先把上一层所有 activation 乘以各自的权重再加起来，加上 bias，得到 z，再把 z 交给激活函数，输出的就是 activation。换一张图片，上一层的数值变了，这个数也会跟着变。

2. 和准确率有什么不同？ 准确率是拿一整批带标签的数据，统计网络判对了多少，比如 100 张里对了 92 张。它属于“整个网络 × 一批数据”，不属于任何一个圆圈。输出层的 activation 有时会被读成网络的“把握”，但它既不是准确率，也不一定是校准过的概率。

3. 一定在 0–1 之间吗？ 不一定。activation 的范围由激活函数决定。3Blue1Brown 第 1 章用的是 sigmoid，所以那里都在 0–1 之间；视频里也提到，现代网络更常用 ReLU，正数原样输出，可以大于 1。实际的分类网络在输出层也常用 softmax，让 10 个输出加起来等于 1。

4. 它起什么作用，和最终结果有什么关系？ activation 是神经元往下一层传的信号。第一层的 activation 就是输入本身（比如图片每个像素的亮度）；每一层的 activation 经过权重组合，变成下一层的输入；这样一层层传下去，到输出层为止。输出层的 activation 就是最终结果：识别数字时，输出层有 10 个神经元，哪个最亮，网络的答案就是哪个数字。中间各层的 activation 是计算过程中的中间结果。训练调整的是权重和 bias，目标是让输出层的 activation 和标签对得上；activation 本身不是被训练的东西，而是每次输入时算出来的。

5. 为什么需要激活函数？ReLU 又是什么？

• What：ReLU(z) = max(0, z)。
• How：z 是负数就输出 0，是正数就原样输出。
• Why 需要激活函数：如果没有激活函数，每一层都只是“乘以权重再相加”。这样的层叠多少层，合起来仍然等于一次“乘以权重再相加”，只能表示直线式的简单关系。在中间加一个弯折的函数，网络才能拼出曲线和复杂的形状。
• Why ReLU 这么常用：一是计算极其简单；二是正数部分的斜率一直是 1。sigmoid 两端很平，斜率接近 0，训练时（第 2 章的梯度下降）调整信号经过很多层会越传越弱；ReLU 在正数部分没有这个问题，所以层数很多的网络更容易训练。