理解 Attention:Query、Key、Value
从一个具体句子开始,理解信息如何在 Token 之间流动。
可复习 · 原问题出处待确认我卡在哪里
不理解,尤其是 attention
一个词怎么看到其他词
Embedding 和 Token 是什么
Query、Key、Value
出处待确认:这几句来自之前整理时记录的提问,在已归档的「AI知识问答」原文(2026-10-29 导出)里没有找到,可能出自另一段对话。请核对原话。
出处视频。卡住的具体时间点待补:
▶ 3Blue1Brown · Attention in transformers, step-by-step | Deep Learning Chapter 6 · 0:00我用自己的话解释
- Query、Key、Value 分别是什么?各自负责什么?
- 一个词是怎样从其他词那里获取信息的?
- 注意力权重 70% 表示什么?它是准确率或概率吗?
- 为什么需要 Q、K、V 三个,而不是直接拿 Embedding 比较?
- Multi-head 是什么?每个 head 都有固定的功能吗?
自动保存在当前浏览器,不跨设备同步。
参考解释就是 学习 页的各节。写完再回去对照。
来源与原始问题
本文根据你提供的三张 GPT 回答截图整理,并补充了计算边界。关系图、滑块和测验为重新实现的组件,不是从原对话导出的源码。完整历史和未出现在截图中的回答没有导入。
原来的问题见「复习」页,出处待确认。
参考:3Blue1Brown · Attention in transformers · Attention Is All You Need。