理解 Attention:Query、Key、Value

从一个具体句子开始,理解信息如何在 Token 之间流动。

可复习 · 原问题出处待确认

检查理解

1 / 3

在这个实验中,最终被加权求和的是什么?

来源与原始问题

本文根据你提供的三张 GPT 回答截图整理,并补充了计算边界。关系图、滑块和测验为重新实现的组件,不是从原对话导出的源码。完整历史和未出现在截图中的回答没有导入。

原来的问题见「复习」页,出处待确认。

参考:3Blue1Brown · Attention in transformers · Attention Is All You Need。

On this page