理解 Attention:Query、Key、Value

从一个具体句子开始,理解信息如何在 Token 之间流动。

可复习 · 原问题出处待确认

我卡在哪里

不理解,尤其是 attention

一个词怎么看到其他词

Embedding 和 Token 是什么

Query、Key、Value

出处待确认:这几句来自之前整理时记录的提问,在已归档的「AI知识问答」原文(2026-10-29 导出)里没有找到,可能出自另一段对话。请核对原话。

出处视频。卡住的具体时间点待补:

▶ 3Blue1Brown · Attention in transformers, step-by-step | Deep Learning Chapter 6 · 0:00

我用自己的话解释

  1. Query、Key、Value 分别是什么?各自负责什么?
  2. 一个词是怎样从其他词那里获取信息的?
  3. 注意力权重 70% 表示什么?它是准确率或概率吗?
  4. 为什么需要 Q、K、V 三个,而不是直接拿 Embedding 比较?
  5. Multi-head 是什么?每个 head 都有固定的功能吗?
自动保存在当前浏览器,不跨设备同步。

参考解释就是 学习 页的各节。写完再回去对照。

来源与原始问题

本文根据你提供的三张 GPT 回答截图整理,并补充了计算边界。关系图、滑块和测验为重新实现的组件,不是从原对话导出的源码。完整历史和未出现在截图中的回答没有导入。

原来的问题见「复习」页,出处待确认。

参考:3Blue1Brown · Attention in transformers · Attention Is All You Need。

On this page