編輯｜Panda

Transformer 架構(gòu)中的注意力機(jī)制是根據(jù)內(nèi)容（what）和序列中的位置（where）將鍵（key）與查詢（query）進(jìn)行匹配。

而在近期 LSTM 之父 Jürgen Schmidhuber 的 USI & SUPSI 瑞士 AI 實(shí)驗(yàn)室團(tuán)隊(duì)的一項(xiàng)新研究中，分析表明，當(dāng)前流行的旋轉(zhuǎn)位置嵌入（RoPE）方法中的 what 與 where 是糾纏在一起的。這種糾纏會(huì)損害模型性能，特別是當(dāng)決策需要對(duì)這兩個(gè)因素進(jìn)行獨(dú)立匹配時(shí)。

基于這一觀察，他們提出了新的方案：極坐標(biāo)位置嵌入（Polar Coordinate Position Embedding ），簡(jiǎn)稱PoPE。

該團(tuán)隊(duì)表示，PoPE 消除了內(nèi)容與位置的混淆，使得其在需要僅通過位置或僅通過內(nèi)容進(jìn)行索引的診斷任務(wù)上表現(xiàn)遠(yuǎn)優(yōu)于 RoPE。

• 論文標(biāo)題：Decoupling the "What" and "Where" With Polar Coordinate Positional Embeddings
• 論文地址：https://arxiv.org/abs/2509.10534

該論文的一作為 Anand Gopalakrishnan，目前正在哈佛大學(xué)從事博士后研究，曾是 Jürgen Schmidhuber 的博士生。參與者中還有 OpenAI 的研究科學(xué)家 Róbert Csordás，以及科羅拉多大學(xué)計(jì)算機(jī)科學(xué)系教授 Michael C. Mozer（目前已加入谷歌 DeepMind）。

RoPE 的問題

在許多前沿模型中，為了將位置信息納入進(jìn)來，RoPE 是首選方法，包括 Llama 3、DeepSeek-v3、Gemma 3 和 Qwen3。它會(huì)為每個(gè)查詢-鍵對(duì)生成注意力分?jǐn)?shù)，該分?jǐn)?shù)基于它們的匹配程度及其在輸入序列中的相對(duì)位置。

為了更好地理解 RoPE，這里以特定層中的特定注意力頭進(jìn)行說明。該注意力頭的作用是執(zhí)行位置 t 的查詢 q_t 與位置 s 的鍵 k_s 之間的匹配。鍵和查詢是 d 維向量，被劃分為 d/2 個(gè)二維分量。

這里用 q_tc 和 k_sc 分別表示查詢和鍵的分量 c∈{1,...,d/2}。RoPE 首先在 2D 平面中將每個(gè)分量 c 旋轉(zhuǎn)一個(gè)與位置成正比的角度。如果 R (Φ) 是執(zhí)行角度 Φ 旋轉(zhuǎn)的 2×2 矩陣，則旋轉(zhuǎn)后的查詢和鍵分別為 R (tθ_c) q_tc 和 R (sθ_c) k_sc，其中 θ_c 是分量特定的基波波長(zhǎng)（base wavelength）：。下圖展示了查詢（或鍵）分量的構(gòu)成及其在二維空間中的旋轉(zhuǎn)方式。

對(duì)應(yīng)的鍵和查詢分量通過點(diǎn)積匹配并求和以獲得注意力分?jǐn)?shù)：

將分量對(duì)齊的旋轉(zhuǎn)僅取決于鍵和查詢的相對(duì)位置，而不取決于它們的絕對(duì)位置。

如果將鍵和查詢分量從笛卡爾坐標(biāo)重新表示為極坐標(biāo)：

由此，注意力分?jǐn)?shù)可寫為：

這清楚地表明，嵌入的每個(gè)雙元素分量都被轉(zhuǎn)換為單個(gè)幅值，并且通過 Φ_{q_tc} 和 Φ_{k_sc} 引入了對(duì)產(chǎn)生最大響應(yīng)的相對(duì)位置（相位）的調(diào)整。因此，鍵和查詢都混淆了關(guān)于特征存在與否的信息（what）和相對(duì)位置（where）。

該團(tuán)隊(duì)的假設(shè)是，通過解耦這兩類不同的信息，特別是通過消除交互項(xiàng) ，可以提高模型性能。

解決方案：PoPE

在 RoPE 中，該團(tuán)隊(duì)將鍵和查詢的 d/2 個(gè)分量解釋為復(fù)數(shù)。而在該團(tuán)隊(duì)提出的方法中，該團(tuán)隊(duì)利用了極坐標(biāo)表示的另一種形式，稱之為極坐標(biāo)位置嵌入，即 PoPE。

在 PoPE 中，該團(tuán)隊(duì)將鍵和查詢轉(zhuǎn)換為相應(yīng)的 d 元素復(fù)向量 和 。每個(gè)元素 c 的幅值是對(duì)原始實(shí)值鍵或查詢對(duì)應(yīng)元素的重新縮放：

其中 σ(x)=ln (1+e^x) 表示 softplus 激活函數(shù)，確保幅值非負(fù)。相位僅取決于位置：

PoPE 的注意力分?jǐn)?shù)定義為：

與 RoPE 相比，PoPE：

• 在單個(gè)元素而非元素對(duì)上進(jìn)行索引，將頻率數(shù)量從 d/2 增加到 d；
• 消除了導(dǎo)致鍵和查詢影響相位的交互項(xiàng)。

此外，還可以引入一個(gè)可學(xué)習(xí)但固定的偏置項(xiàng) ：

其中 δ_c 是為每個(gè)頻率調(diào)整最佳相對(duì)偏移的可學(xué)習(xí)偏置。

該團(tuán)隊(duì)使用 Triton 實(shí)現(xiàn)了 PoPE。

通過修改內(nèi)核，在不顯式實(shí)例化復(fù)雜矩陣的情況下計(jì)算點(diǎn)積的實(shí)部。該團(tuán)隊(duì)的定制 Flash Attention 相比標(biāo)準(zhǔn)版僅需額外一次乘法。該團(tuán)隊(duì)表示，雖然目前的通用變體內(nèi)存開銷較大，但可以通過在內(nèi)核內(nèi)部執(zhí)行旋轉(zhuǎn)來優(yōu)化。

那么，表現(xiàn)如何呢？

該團(tuán)隊(duì)將 PoPE 與 RoPE 在兩個(gè)超參數(shù)完全相同的 Transformer 模型上進(jìn)行比較。

間接索引（Indirect Indexing）

該任務(wù)要求在變長(zhǎng)源字符串中識(shí)別目標(biāo)字符，目標(biāo)字符定義為距離指定源字符一定的相對(duì)偏移量。

RoPE 在此任務(wù)中表現(xiàn)掙扎，平均準(zhǔn)確率僅為 11.16%。PoPE 則幾乎完美地解決了任務(wù)，平均準(zhǔn)確率達(dá)到 94.82%。這表明 RoPE 難以分離內(nèi)容和位置信息，而 PoPE 通過解耦實(shí)現(xiàn)了高效學(xué)習(xí)。

音樂與基因組序列建模

在 JSB 和 MAESTRO 符號(hào)音樂數(shù)據(jù)集上，PoPE 均實(shí)現(xiàn)了比 RoPE 更低的負(fù)對(duì)數(shù)似然（NLL）。

在人類參考基因組數(shù)據(jù)集上，使用 PoPE 的模型 NLL（4.152）顯著低于 RoPE 基線（4.217）。

語言建模

在 OpenWebText 數(shù)據(jù)集上，該團(tuán)隊(duì)測(cè)試了三種規(guī)模的模型（124M、253M、774M）。

結(jié)果來看 ，在所有規(guī)模下，PoPE 的困惑度均始終低于 RoPE。

而在 LAMBADA、CBT、HellaSwag 等六項(xiàng)下游任務(wù)的零樣本評(píng)估中，PoPE 在所有模型規(guī)模下的平均準(zhǔn)確率均高于 RoPE。

測(cè)試時(shí)長(zhǎng)度外推

該團(tuán)隊(duì)在 1024 個(gè) token 上訓(xùn)練模型，并在長(zhǎng)達(dá) 10240 個(gè) token 的序列上評(píng)估。

RoPE 的性能在長(zhǎng)序列上顯著下降。YaRN 在超過其微調(diào)長(zhǎng)度后也會(huì)失效。

可以看到，PoPE 優(yōu)勢(shì)是在無需任何微調(diào)或插值的情況下，顯示出強(qiáng)大的開箱即用外推能力，甚至優(yōu)于專門的基線模型 YaRN。

PoPE 的穩(wěn)定性也不錯(cuò)： RoPE 的外推性能隨模型規(guī)模增加而惡化，而 PoPE 則保持大體穩(wěn)定。

https://x.com/agopal42/status/2003900824909746344