Rotary Position Embedding

旋转位置编码(Rotary Position Embedding, RoPE) 是 Su et al. (2021) 提出的位置编码方案。核心思想是：对 Q 和 K 向量施加一个与位置成正比的旋转，使得注意力内积自然只依赖相对位置，而无需显式计算位置差。RoPE 已成为 LLaMA、Qwen、DeepSeek 等主流 LLM 的标准位置编码。

出发点

Transformer 的 self-attention 本身是置换不变的——打乱 token 顺序，attention 输出不变。位置编码的作用就是打破这种对称性，让模型感知 token 的顺序。

理想的位置编码应满足：Q 和 K 的内积只依赖词向量本身和它们之间的相对位置 $m - n$：

$\langle f_q(x_m, m),\; f_k(x_n, n) \rangle = g(x_m, x_n, m - n)$

原始 Transformer 的正弦位置编码是加法的（$x + p$），展开内积 $(x+p)^\top(x'+p')$ 后会产生交叉项 $x^\top p' + p^\top x'$，无法干净地只依赖相对位置。RoPE 用**乘法（旋转）**解决了这个问题。

二维情形的完整推导

从 $d = 2$ 的情形出发最容易理解。在复平面上，一个二维向量可以表示为复数 $z = r\, e^{i\varphi}$。

第一步：建立约束方程

设位置 $m$ 处的 query 编码函数为 $f_q(x_m, m)$，位置 $n$ 处的 key 编码函数为 $f_k(x_n, n)$。初始条件是位置 0 不编码任何位置信息：

$f_q(x_m, 0) = W_q x_m = q, \quad f_k(x_n, 0) = W_k x_n = k$

需要满足的相对位置约束为：

$\text{Re}\left[f_q(x_m, m) \cdot f_k(x_n, n)^*\right] = g(x_m, x_n, m - n)$

其中 ${}^*$ 为复数共轭。右侧函数 $g$ 只依赖相对位置 $m - n$。

第二步：极坐标分解

将 $f_q$、$f_k$、$g$ 分别写成模（半径）和辐角的乘积：

$f_q(x_q, m) = R_q(x_q, m)\; e^{i\,\Theta_q(x_q, m)}$

$f_k(x_k, n) = R_k(x_k, n)\; e^{i\,\Theta_k(x_k, n)}$

$g(x_q, x_k, m-n) = R_g(x_q, x_k, m-n)\; e^{i\,\Theta_g(x_q, x_k, m-n)}$

代入约束方程，将模和辐角分开，得到两个独立约束：

R_q(x_q, m) \cdot R_k(x_k, n) = R_g(x_q, x_k, m - n) \tag{模约束}

\Theta_k(x_k, n) - \Theta_q(x_q, m) = \Theta_g(x_q, x_k, m - n) \tag{辐角约束}

第三步：证明模与位置无关

在模约束中令 $m = n$：

$R_q(x_q, m) \cdot R_k(x_k, m) = R_g(x_q, x_k, 0)$

右侧 $R_g(\cdot, \cdot, 0)$ 是常数（不依赖 $m$）。再利用初始条件 $R_q(x_q, 0) = \|q\|$，$R_k(x_k, 0) = \|k\|$，最简单的满足条件的解是：

$R_q(x_q, m) = \|q\|, \quad R_k(x_k, n) = \|k\|$

即模与位置完全无关，旋转不改变向量的长度。

第四步：证明辐角线性增长

在辐角约束中同样令 $m = n$：

$\Theta_k(x_k, m) - \Theta_q(x_q, m) = \Theta_g(x_q, x_k, 0) = \theta_k - \theta_q$

这说明 $\Theta_q(x_q, m) - \theta_q = \Theta_k(x_k, m) - \theta_k$，辐角的”位置偏移量”与词向量 $x$ 无关。记这个公共的位置偏移为 $\phi(m)$：

$\Theta_q(x_q, m) = \phi(m) + \theta_q, \quad \Theta_k(x_k, n) = \phi(n) + \theta_k$

现在把 $n = m + 1$ 代入辐角约束：

$[\phi(m+1) + \theta_k] - [\phi(m) + \theta_q] = \Theta_g(x_q, x_k, 1)$

$\phi(m+1) - \phi(m) = \Theta_g(x_q, x_k, 1) + \theta_q - \theta_k$

右侧是一个与 $m$ 无关的常数。这意味着 $\phi(m)$ 的相邻差为常数——$\phi$ 是一个等差数列：

$\phi(m) = m\theta + \gamma$

其中 $\theta$ 是公差（旋转角速度），$\gamma$ 是一个常数偏移（取 $\gamma = 0$ 不失一般性）。

第五步：得到最终形式

综合第三步（模不变）和第四步（辐角线性）：

$\boxed{f_q(x_m, m) = (W_q x_m)\; e^{im\theta}, \quad f_k(x_n, n) = (W_k x_n)\; e^{in\theta}}$

验证内积：

$f_q \cdot f_k^* = (W_q x_m)\; e^{im\theta} \cdot (W_k x_n)^*\; e^{-in\theta} = (W_q x_m)(W_k x_n)^* \cdot e^{i(m-n)\theta}$

取实部后：

$\langle f_q, f_k \rangle = \text{Re}\left[(W_q x_m)(W_k x_n)^* \cdot e^{i(m-n)\theta}\right] = g(x_m, x_n, m-n) \quad \checkmark$

确实只依赖相对位置 $m - n$。

二维矩阵形式

复数乘法 $z \cdot e^{i\alpha}$ 等价于二维旋转矩阵：

$e^{i\alpha} \cdot \begin{pmatrix} a \\ b \end{pmatrix} \;\;\leftrightarrow\;\; \begin{pmatrix} \cos\alpha & -\sin\alpha \\ \sin\alpha & \cos\alpha \end{pmatrix} \begin{pmatrix} a \\ b \end{pmatrix}$

因此：

$f(x_m, m) = \underbrace{\begin{pmatrix} \cos m\theta & -\sin m\theta \\ \sin m\theta & \cos m\theta \end{pmatrix}}_{R_{m\theta}} W x_m$

几何直觉：线性投影 $Wx$ 得到一个二维向量，然后绕原点旋转 $m\theta$ 角度。位置 0 不旋转，位置 1 旋转 $\theta$，位置 2 旋转 $2\theta$，依此类推。计算两个位置的内积时，旋转角度相减，只剩相对旋转 $(m-n)\theta$。

推广到 $d$ 维

$d$ 维无法直接做”一次旋转”，但可以拆成 $d/2$ 个独立的二维子空间，每个子空间用不同频率 $\theta_i$ 做独立旋转。

编码函数：

$f_{\{q,k\}}(x_m, m) = R^d_{\Theta,m}\; W_{\{q,k\}}\; x_m$

其中 $R^d_{\Theta,m}$ 是分块对角旋转矩阵(block-diagonal rotation matrix)：

$R^d_{\Theta,m} = \begin{pmatrix} \cos m\theta_1 & -\sin m\theta_1 & & & \\ \sin m\theta_1 & \cos m\theta_1 & & & \\ & & \cos m\theta_2 & -\sin m\theta_2 & \\ & & \sin m\theta_2 & \cos m\theta_2 & \\ & & & & \ddots \end{pmatrix}$

频率参数：

$\theta_i = 10000^{-2(i-1)/d}, \quad i \in [1,\, d/2]$

这组频率与原始 Transformer 正弦编码完全相同。$\theta_1$ 最大（高频，旋转快），$\theta_{d/2}$ 最小（低频，旋转慢）。直觉上，低维子空间编码精细的局部位置，高维子空间编码粗粒度的全局位置。

验证相对位置性

$q_m^\top k_n = (R^d_{\Theta,m} W_q x_m)^\top (R^d_{\Theta,n} W_k x_n) = x_m^\top W_q^\top \underbrace{(R^d_{\Theta,m})^\top R^d_{\Theta,n}}_{R^d_{\Theta,\,n-m}} W_k x_n$

由于每个 $2 \times 2$ 旋转块是正交矩阵(orthogonal matrix)：

$(R_{m\theta})^\top R_{n\theta} = R_{(n-m)\theta}$

所以整个分块对角矩阵也满足 $(R^d_{\Theta,m})^\top R^d_{\Theta,n} = R^d_{\Theta,\,n-m}$。内积只依赖相对位置 $n - m$。

具体数值示例

以 $d = 4$（2 个子空间）为例，展示 RoPE 前后向量的变化。

设频率 $\theta_1 = 1.0$，$\theta_2 = 0.01$（简化取值）。设经过线性投影后，位置 $m = 3$ 处的 Q 向量为：

$q = W_q x_3 = \begin{pmatrix} 1.0 \\ 0.5 \\ 0.8 \\ -0.3 \end{pmatrix}$

RoPE 对每个二维子空间独立旋转：

子空间 1（维度 0-1），旋转角度 $3 \times \theta_1 = 3.0$ rad：

$\begin{pmatrix} \cos 3.0 & -\sin 3.0 \\ \sin 3.0 & \cos 3.0 \end{pmatrix} \begin{pmatrix} 1.0 \\ 0.5 \end{pmatrix} = \begin{pmatrix} -0.919 \\ 0.641 \end{pmatrix}$

子空间 2（维度 2-3），旋转角度 $3 \times \theta_2 = 0.03$ rad：

$\begin{pmatrix} \cos 0.03 & -\sin 0.03 \\ \sin 0.03 & \cos 0.03 \end{pmatrix} \begin{pmatrix} 0.8 \\ -0.3 \end{pmatrix} = \begin{pmatrix} 0.808 \\ -0.276 \end{pmatrix}$

RoPE 后的 Q 向量：

$q_3 = R^4_{\Theta,3}\; q = \begin{pmatrix} -0.919 \\ 0.641 \\ 0.808 \\ -0.276 \end{pmatrix}$

观察：

• 高频子空间（维度 0-1）：旋转了 3 弧度（约 172°），向量方向剧烈变化。相邻位置之间差异大，编码精细的局部位置信息。
• 低频子空间（维度 2-3）：旋转了 0.03 弧度（约 1.7°），向量几乎不变。远距离位置之间才有明显差异，编码粗粒度的全局位置信息。
• 向量模长不变：旋转前 $\|q\| = \sqrt{1.0^2 + 0.5^2 + 0.8^2 + 0.3^2} \approx 1.386$，旋转后模长仍为 $1.386$。

不同位置的 Q 向量对比

假设同一个词出现在不同位置，投影后都得到相同的 $q = (1.0,\; 0.5,\; 0.8,\; -0.3)^\top$：

位置 $m$	子空间 1 旋转角	子空间 2 旋转角	旋转后 $q_m$
0	0 rad	0 rad	$(1.000,\; 0.500,\; 0.800,\; -0.300)$
1	1.0 rad	0.01 rad	$(0.311,\; 1.112,\; 0.803,\; -0.292)$
2	2.0 rad	0.02 rad	$(-0.567,\; 1.045,\; 0.806,\; -0.284)$
3	3.0 rad	0.03 rad	$(-0.919,\; 0.641,\; 0.808,\; -0.276)$

可以看到：高频子空间（前两维）随位置快速变化，低频子空间（后两维）几乎不动。这与人类阅读的直觉一致——附近的词需要精确区分位置，远处的词只需要大致的距离感。

高效实现

$R^d_{\Theta,m}$ 是极度稀疏的分块对角矩阵，不需要做完整的 $d \times d$ 矩阵乘法。展开单个 $2 \times 2$ 旋转块的计算：

$\begin{pmatrix} \cos\alpha & -\sin\alpha \\ \sin\alpha & \cos\alpha \end{pmatrix} \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} = \begin{pmatrix} x_1 \cos\alpha - x_2 \sin\alpha \\ x_2 \cos\alpha + x_1 \sin\alpha \end{pmatrix}$

写成逐元素操作：

$= \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} \odot \begin{pmatrix} \cos\alpha \\ \cos\alpha \end{pmatrix} + \begin{pmatrix} -x_2 \\ x_1 \end{pmatrix} \odot \begin{pmatrix} \sin\alpha \\ \sin\alpha \end{pmatrix}$

推广到 $d$ 维，实际实现只需两次逐元素乘法(Hadamard product) + 一次加法：

$R^d_{\Theta,m}\; x = x \odot \cos(m\Theta) + \text{rotate\_half}(x) \odot \sin(m\Theta)$

其中 $\text{rotate\_half}$ 将相邻维度对交换并取负：

$(x_1, x_2, x_3, x_4, \dots) \xrightarrow{\text{rotate\_half}} (-x_2, x_1, -x_4, x_3, \dots)$

计算开销极低，与维度 $d$ 线性相关，不引入任何可学习参数。

长距离衰减

RoPE 下的注意力内积可以用复数形式写成：

$q_m^\top k_n = \text{Re}\left[\sum_{i=0}^{d/2-1} h_i \cdot e^{i(m-n)\theta_i}\right]$

其中 $h_i = q_{[2i:2i+1]} \cdot k^*_{[2i:2i+1]}$ 是第 $i$ 个子空间的”局部内积”。

通过 Abel 求和变换可以证明：在频率 $\theta_i = 10000^{-2i/d}$ 下，上式的幅度随 $|m - n|$ 增大而单调衰减。

直觉上：当 $|m - n|$ 增大时，各子空间的旋转因子 $e^{i(m-n)\theta_i}$ 的相位越来越分散，相消干涉使得求和值趋近于零。这意味着 RoPE 隐含了一种”近处关注多、远处关注少”的归纳偏置。

与原始正弦编码的对比

	正弦位置编码	RoPE
作用方式	加法：$x + p$	乘法（旋转）：$R_m \cdot Wx$
作用对象	输入 embedding	Q 和 K 向量
相对位置	隐含但不干净（有交叉项）	严格只依赖相对位置
频率参数	$\theta_i = 10000^{-2i/d}$	相同
保范数	否	是（正交变换）

加法编码的问题具体展开：$(x+p)^\top(x'+p') = x^\top x' + x^\top p' + p^\top x' + p^\top p'$。其中 $x^\top p'$ 和 $p^\top x'$ 是词向量和”错位”位置编码的交叉项，它们既不只依赖内容、也不只依赖位置，破坏了相对位置的干净性。

长度外推

RoPE 本身在训练长度内效果优异，但直接外推到更长序列时性能会退化——高频维度的旋转角度超出训练分布。常见的外推扩展方法：

• NTK-aware Scaling：缩放频率基数（如将 10000 放大到更大的值），等效于”减速旋转”，使高频维度不至于旋转过快
• YaRN：结合 NTK scaling 和注意力温度缩放
• Dynamic NTK：根据实际序列长度动态调整基数

这些方法使 RoPE 能在推理时处理数倍于训练长度的序列。

相关页面

• Transformer 原始架构及位置编码演变见 transformer
• 推理时的 KV Cache 管理见 kv-cache
• LLM 并行策略总览见 llm-parallelism