梯度下降与反向传播
可复习 · 待写自己的解释我卡在哪里
尤其是backpropagation解释
你说的这个让我想起了吴恩达在deep learning平台讲的课,用那种xyz轴山峰和谷底演示计算一步步优化接近准确值
之后每次讲到具体计算,我的回复都只有“不懂”“一点都看不懂”“啥意思”:卡在导数和链式法则、权重的偏导数,以及负梯度向量这几步上。对应解释见学习页的 动手看。
截图提问和 ChatGPT 当时的回答,按顺序保留在 原始对话。
我用自己的话解释
- 反向传播和梯度下降各自做什么?
- 山谷图中的横轴和高度分别是什么?
- 负梯度为 +0.31,学习率为 0.1,参数改多少?
- 为什么沿负梯度走,损失仍可能上升?
自动保存在当前浏览器,不跨设备同步。
写完再展开:参考解释
反向传播负责计算梯度,梯度下降负责据此更新参数。山谷图把参数组合映射到损失高度;负梯度指出局部下降方向,学习率决定这一步走多远。负梯度为 +0.31、学习率为 0.1 时,参数增加 0.031。步子过大会跨过低点,所以更新后还要重新算损失。
Codex 核对课程后重写;原始 GPT 回答保留在本地归档,不作为已经核实的课程正文。
来源
- 原问题来自 ChatGPT「AI知识问答」(2026-10-29 归档,第 31–53 条中的 6 条消息);ChatGPT 当时的回答在「原始对话」标签,未经核校。
- 3Blue1Brown · Gradient descent 与 Backpropagation(2026-10-30 核对)。
- 解释、实验与测验由 Codex 编写。实验是人工设置的简化计算,不来自真实模型。