数学影像馆

视频目录 / 应用数学与建模

热度排名 #933

从头构建 GPT：注意力怎样对位置加权

Let's build GPT: from scratch, in code, spelled out.

顺着代码看查询向量和键向量如何取点积，再经归一化形成权重。加上因果掩码后，检查一个位置能看见序列里的哪些位置。

Andrej Karpathy · 1 串讨论 · 热度 2.729

打开原视频 ↗浏览应用数学与建模

讨论出处