Transformer 与自注意力

Agent 的一切都跑在注意力机制之上。这一章只做一件事：让你能在白板上画出从 token 到注意力矩阵的形状变化，并说清复杂度里那个 n² 究竟从哪来——因为后面每一章的成本、延迟、上下文策略，都是这个 n² 的推论。

编辑部注 · 本章不推导公式，只走一遍数据形状。读完后请合上文章，自己在纸上画一遍 Q/K/V 的维度。

如果要给「Harness 工程师为什么要懂模型原理」找一个最实际的理由，那就是：你所有的取舍最后都会被这三个物理事实定死——注意力是平方复杂度的、KV Cache 是按前缀命中的、输出是采样出来的。这一章讲第一个。

一、为什么一个做工程的人要关心注意力

面试里被问到「Transformer 原理」，很多人以为考官在考古。其实不是。考官真正想问的是：

• 你知不知道上下文变长，成本是怎么长的？
• 你知不知道「把整个代码库塞进上下文」这条路会在哪一步崩掉？
• 你知不知道长任务的瓶颈到底在算力、显存，还是在带宽？

这三个问题都从自注意力出发。凡是能用 n² 解释清楚的现象，都不该用「模型能力不够」来解释。

二、一次前向到底做了什么

先不碰公式，只跟踪张量的形状。设一批输入是 n 个 token，每个 token 进模型后被映射成一个 d 维向量（例如 d=4096）。

三步走，记住这三步就够用了：

1. 投影：同一份输入 X，用三组不同的权重矩阵投影出 Q（我想找什么）、K（我能被什么找到）、V（我实际携带的内容）。
2. 打分：用 Q · Kᵀ 算出任意两个位置之间的相关度，得到一个 [n, n] 的矩阵，除以 √d 做缩放，再 softmax 成权重。
3. 聚合：用这组权重对 V 做加权求和，输出形状回到 [n, d]。

三、n² 究竟出在哪一步

把每一步的复杂度摊开看，问题一目了然。

结论：平方项只来自「任意两个位置都要互相看一眼」这件事，也就是那两步 QKᵀ 和 AV。剩下的一切（嵌入、投影、FFN）都是逐位置的，随 n 线性增长。

四、这对做 Agent 意味着什么

把上面的结论翻译成工程语言，会得到三条非常硬的推论：

(1) 成本不是线性的，所以「多塞点上下文」是一种高息负债。 往上下文里加一倍内容，注意力部分的代价接近四倍。这解释了为什么长上下文模型的 API 定价通常按阶梯上涨，而不是线性。

(2) 裁剪与压缩不是优化，而是必备能力。 如果你的 Harness 只会「一直追加消息」，那你实际上是在让成本做平方增长。上下文压缩、状态外置、历史摘要这三件事，是 Harness 的基本功而不是加分项。

(3) 首 token 延迟与后续 token 延迟是两个不同的成本。 处理输入（prefill）要跑完整个 [n, n]；生成每个 token（decode）只走一步，但需要读缓存。这两个阶段的瓶颈不同，优化手段也不同——这是下一章 KV Cache 的主题。

把 n² 记住，你就不需要背任何「长上下文为什么要小心」的结论了——那些结论全都是它的推论。本刊编辑部

五、动手：三十行手写一遍注意力

不写一遍就容易把形状记混。下面这段 NumPy 代码把图 1 完整实现了一遍，重点看注释里标注的形状。

import numpy as np
def softmax(x, axis=-1):
    m = x.max(axis=axis, keepdims=True)      # 数值稳定：先减去最大值
    e = np.exp(x - m)
    return e / e.sum(axis=axis, keepdims=True)
def attention(X, Wq, Wk, Wv):
    """X: [n, d]  三个权重: [d, d]"""
    Q = X @ Wq          # [n, d]  我想找什么
    K = X @ Wk          # [n, d]  我能被什么找到
    V = X @ Wv          # [n, d]  我携带什么
    d = Q.shape[-1]
    S = Q @ K.T         # [n, n]  ← 平方复杂度的来源
    S = S / np.sqrt(d)  # 缩放，防止 softmax 进入饱和区
    A = softmax(S)      # [n, n]  每行和为 1
    return A @ V        # [n, d]  回到原形状
n, d = 5, 8
rng = np.random.default_rng(0)
X  = rng.normal(size=(n, d))
Wq = rng.normal(size=(d, d)) / np.sqrt(d)
Wk = rng.normal(size=(d, d)) / np.sqrt(d)
Wv = rng.normal(size=(d, d)) / np.sqrt(d)
out = attention(X, Wq, Wk, Wv)
print(out.shape)          # (5, 8) —— 形状与输入一致，这是所有注意力变体的共同特征
# 顺手验证因果掩码（decoder 只能看左边）
mask = np.triu(np.ones((n, n)), k=1).astype(bool)
print(mask.astype(int))

六、自测

七、小结与术语表

下一章我们把这个 n² 换个角度再看一次：既然前缀会被反复重算，那能不能缓存？能，但缓存命中与否取决于一个你平时根本不会注意到的东西——前缀稳定性。