機器之心編輯部

在大語言模型推理領(lǐng)域，雖然「推測解碼」（Speculative Decoding，SD）已成為加速生成的標(biāo)準(zhǔn)配置，但它依然存在一個致命弱點： drafting（草擬）和 verification（驗證）之間必須串行進行。

近日，來自斯坦福、普林斯頓大學(xué)和 Together AI 的研究團隊提出SSD 框架及其優(yōu)化算法 SAGUARO，成功實現(xiàn)了草擬和驗證的并行化。

• 論文鏈接：https://arxiv.org/pdf/2603.03251
• GitHub 鏈接：https://github.com/tanishqkumar/ssd

據(jù)介紹，該算法推理速度比世界上最強大的推理引擎都快 2 倍。

「推測性推測解碼」（Speculative Speculative Decoding，簡稱 SSD），是一種新型的推測性解碼 (SD)。在傳統(tǒng)的 SD 中，一個小且快速的模型會先猜測大且慢的模型可能生成的下幾個 token，然后大模型通過一次前向傳播驗證這些猜測，草擬和驗證是依次進行的。

而在 SSD 中，這兩個過程是并行發(fā)生的，完全消除了運行小模型的開銷。

并行執(zhí)行草擬和驗證是很棘手的，因為你無法在某事物存在之前對其進行驗證，也無法推測你不知道的前綴之外的內(nèi)容。在 SSD 中，研究者預(yù)先設(shè)定驗證結(jié)果，并在獨立硬件上進行驗證的同時進行推測。這樣一來，如果其中一種驗證結(jié)果出現(xiàn)，推測就能立即生效。

雖然論文對算法進行了詳盡的理論描述，但在實踐中，研究者大部分時間都花在如何讓它與現(xiàn)代推理引擎中各種優(yōu)化技術(shù)（Paged Attention、Prefix Caching、CUDAGraphs 等）協(xié)同工作上。

作者 Tanishq Kumar 表示，「真的，我花在了解 CPU/GPU 同步問題上的時間遠(yuǎn)遠(yuǎn)超過了我的預(yù)期」。

要使新算法達到 SOTA 水平，需要精心設(shè)計系統(tǒng)和算法?？偟膩碚f，SSD 推動了延遲 - 吞吐量帕累托前沿的發(fā)展，其方式與普通推測解碼推進標(biāo)準(zhǔn)自回歸算法的發(fā)展非常相似。

Tanishq Kumar 稱：「我對快速推理感到興奮，因為我非常關(guān)注的一個人工智能工作負(fù)載是超長時域推理。想象一下，一個擁有大量 B200 的數(shù)據(jù)中心完全用于運行一個模型，該模型需要處理數(shù)十億個 token 來證明 P 與 NP 的區(qū)別。在這種情況下，延遲減半就意味著可以進行雙倍深度的思考！」

SSD 如何實現(xiàn)草擬與驗證并行？

現(xiàn)代 AI 對推理速度有著極高的要求。然而，標(biāo)準(zhǔn)的語言模型解碼是按順序生成單個 token，未能利用現(xiàn)代硬件上可用的大規(guī)模并行計算。

推測性解碼（SD）是一種為了解決這個問題而引入的技術(shù)。它使用一個快速的「草擬模型」來預(yù)測目標(biāo)模型可能將生成的下幾個 token，而不是從目標(biāo)模型中進行緩慢的自回歸采樣，然后通過目標(biāo)模型的并行前向傳播驗證這些 token。這一驗證是按照一個算法進行的，確保生成的 token 是從目標(biāo)模型的分布中采樣的。

在每次驗證中，目標(biāo)模型決定接受多少個推測的 token，并采樣一個額外的獎勵 token，該 token 跟隨所有已接受的 token。盡管推測性解碼有效，但它本身仍受限于串行依賴：必須等待當(dāng)前驗證完成后，才能開始下一輪推測。

那么，我們能否消除草擬和驗證之間的順序依賴呢？

研究者引入推測性推測解碼（SSD），這是一個旨在并行化草擬和驗證的統(tǒng)一框架。

在 SD 中，草擬模型必須等待驗證完成，才能開始推測下一輪，而在 SSD 中，草擬模型會預(yù)測最可能的驗證結(jié)果，并在驗證進行的同時，針對所有可能的結(jié)果進行并行的提前推測。如果這些預(yù)準(zhǔn)備的結(jié)果中的任何一個發(fā)生，草擬模型可以立即將預(yù)推測的 token 發(fā)送給驗證器，從而避免草擬階段的開銷。與普通的推測性解碼一樣，SSD 也是無損的。不同之處在于，SSD 的草擬模型部署在與目標(biāo)模型不同的硬件上。

優(yōu)化 SSD 算法主要面臨三大挑戰(zhàn)。

首先，草擬模型必須準(zhǔn)確預(yù)測驗證結(jié)果，這不僅包括接受了多少個推測的 Token，還包括采樣的獎勵 token。其次，推測器的接受率與其預(yù)測驗證結(jié)果的能力之間存在微妙的權(quán)衡，必須謹(jǐn)慎處理以最大化加速比。此外，任何 SSD 算法都必須具備處理預(yù)測失敗的回退策略，因為在大批處理量和高隨機性（Temperature）下，預(yù)測失敗會頻繁發(fā)生，若處理不當(dāng)，即時補救的開銷將抵消異步帶來的收益。

為此，他們推出了Saguaro，這是一個優(yōu)化的 SSD 算法，針對上述挑戰(zhàn)進行了定向優(yōu)化。

• 將預(yù)測驗證結(jié)果的問題轉(zhuǎn)化為約束優(yōu)化問題，并引入了一種技術(shù)，利用最可能的草擬 logits 來預(yù)測獎勵 token，準(zhǔn)確率最高可達 90%。
• 識別了預(yù)測準(zhǔn)確性與生成高質(zhì)量推測之間的張力，并開發(fā)了一種能夠平衡二者的采樣算法。
• 探討了處理預(yù)測失敗的多種策略，發(fā)現(xiàn)最優(yōu)回退策略隨批處理大小而異。通過采用這些優(yōu)化，盡管 Saguaro 在處理每個批次元素時進行了更多計算（同時解碼多種可能的結(jié)果），其表現(xiàn)仍比標(biāo)準(zhǔn) SD 高出 20%。

總的來看，Saguaro 相比優(yōu)化的推測性解碼實現(xiàn)了高達 2 倍的加速，相比自回歸生成實現(xiàn)了高達 5 倍的加速，并在各種批處理規(guī)模下均顯著提升了吞吐量與延遲的帕累托前沿。

不過，該領(lǐng)域仍有許多值得探索的方向。SSD 可以自然地與 EAGLE 技術(shù)以及token-tree推測（Token-tree speculation）相結(jié)合，但這種聯(lián)合設(shè)計及其權(quán)衡空間在很大程度上尚未被發(fā)掘。

此外，通過擴展草擬設(shè)備的數(shù)量以及推測緩存，延遲可以進一步減少，盡管回報最終會遞減。最后，在集群層面跨多個目標(biāo)模型部署共享推測端點——類似于預(yù)填充-解碼分解）——是另一個自然的研究方向。