對于部署智能體AI系統(tǒng)的IT領(lǐng)導(dǎo)者而言，高推理延遲和不斷攀升的GPU成本已成為主要瓶頸。這些工作流程每次查詢通常需要生成數(shù)千個Token，造成了當(dāng)前硬件難以彌合的性能差距。

來自馬里蘭大學(xué)、勞倫斯利弗莫爾國家實(shí)驗(yàn)室、哥倫比亞大學(xué)和TogetherAI的研究人員表示，他們可以通過對預(yù)訓(xùn)練模型進(jìn)行微調(diào)，將加速能力嵌入到模型權(quán)重中，從而在推理基準(zhǔn)測試中實(shí)現(xiàn)三倍的推理速度提升，無需投機(jī)解碼或輔助草稿模型。

在本月發(fā)表的一篇論文中，研究團(tuán)隊(duì)描述了一種多Token預(yù)測技術(shù)，該技術(shù)通過特殊的掩碼Token和在線自蒸餾目標(biāo)，將標(biāo)準(zhǔn)的下一Token模型轉(zhuǎn)換為并行解碼器。

基準(zhǔn)測試結(jié)果顯示，該方法在準(zhǔn)確率損失極小的情況下實(shí)現(xiàn)了超過3倍的加速，這種權(quán)衡對于在生產(chǎn)AI系統(tǒng)中努力平衡成本和模型質(zhì)量的企業(yè)具有吸引力。

據(jù)報(bào)道，最終模型保持了與預(yù)訓(xùn)練初始檢查點(diǎn)相同的實(shí)現(xiàn)方式，可在不添加任何輔助驗(yàn)證器或其他專門推理代碼的情況下部署。

傳統(tǒng)架構(gòu)的局限性

傳統(tǒng)大語言模型每次前向傳遞生成一個Token，這種設(shè)計(jì)本身就限制了吞吐量。對于推理模型而言，這種串行瓶頸尤其成問題，因?yàn)榧词故呛喍痰淖罱K回答，在"思維鏈"過程中也會生成數(shù)千個Token。一次傳遞生成多個Token可以減少延遲和成本。

為確保連貫性，研究人員采用了學(xué)生-教師設(shè)置。使用動物園管理員的類比，他們指出，獨(dú)立預(yù)測多個詞的模型可能會無意義地輸出動物園管理員給"熊貓喂肉"。教師模型評估這些多Token片段，確保它們在一起有意義。

研究人員在論文中表示："我們提出了一種受強(qiáng)化學(xué)習(xí)啟發(fā)的訓(xùn)練范式，學(xué)生模型生成同時(shí)Token預(yù)測的片段。為了避免標(biāo)準(zhǔn)離線目標(biāo)的陷阱，學(xué)生輸出由大語言模型評判者/教師評分，而不是與已知的真實(shí)Token序列對比評分。"

他們補(bǔ)充道："通過將學(xué)生的預(yù)測與教師提出的下一Token建議進(jìn)行比較，我們產(chǎn)生了一個策略內(nèi)獎勵信號，使學(xué)生能夠快速提高其多Token預(yù)測的質(zhì)量。"

技術(shù)實(shí)現(xiàn)與性能表現(xiàn)

在推理時(shí)，系統(tǒng)使用置信度自適應(yīng)（ConfAdapt）解碼策略，動態(tài)確定每次傳遞發(fā)出多少個Token。當(dāng)模型高度自信時(shí)，它輸出更大的塊。當(dāng)不確定性增加時(shí)，它回退到較小的步驟，在保持速度增益的同時(shí)保持準(zhǔn)確性。

在GSM8K數(shù)學(xué)推理基準(zhǔn)測試實(shí)驗(yàn)中，80億參數(shù)模型在準(zhǔn)確率下降不到3%的情況下實(shí)現(xiàn)了超過3倍的加速。較小的40億參數(shù)模型達(dá)到了類似的加速，盡管準(zhǔn)確率下降了7%。更激進(jìn)的配置將加速推至5倍，但準(zhǔn)確率成本更高。

與需要輔助推測模型和專門推理管道的投機(jī)解碼不同，該方法訓(xùn)練單個模型，保持與原始檢查點(diǎn)相同的實(shí)現(xiàn)方式，無需輔助驗(yàn)證器。

市場分析與應(yīng)用前景

分析師表示，更大的問題是這種方法是否會有意義地改變生產(chǎn)環(huán)境中推理堆棧的設(shè)計(jì)方式。

Greyhound Research首席分析師Sanchit Vir Gogia表示："投機(jī)解碼試圖通過引入提出Token的草稿模型和驗(yàn)證它們的目標(biāo)模型來打破這種約束。理論上，這產(chǎn)生無損加速。實(shí)際上，驗(yàn)證成本、批處理交互和草稿-目標(biāo)漂移減少了實(shí)際收益。"

相比之下，他說，多Token方法保留了自回歸骨架，但將優(yōu)化轉(zhuǎn)移到訓(xùn)練階段。

"經(jīng)濟(jì)影響取決于輸出的熵分布，"Gogia說。"在推理密集型或結(jié)構(gòu)化任務(wù)中，可預(yù)測片段可以以較大塊發(fā)出，降級有限。在高熵、開放式生成中，加速收縮。這是選擇性壓縮，不是通用速度。"

這種區(qū)別對企業(yè)部署很重要。Gogia表示："ConfAdapt從根本上是熵敏感的。其戰(zhàn)略優(yōu)勢在具有結(jié)構(gòu)化支架、確定性語言段和受人類監(jiān)督的咨詢輸出特征的工作負(fù)載中最大化。"

Gogia說，企業(yè)應(yīng)該將該技術(shù)視為校準(zhǔn)的效率杠桿，而不是通用加速開關(guān)。

Q&A

Q1：多Token預(yù)測技術(shù)是什么？它如何提升大語言模型的推理速度？

A：多Token預(yù)測技術(shù)是一種將標(biāo)準(zhǔn)的下一Token模型轉(zhuǎn)換為并行解碼器的方法，通過特殊的掩碼Token和在線自蒸餾目標(biāo)實(shí)現(xiàn)。它讓模型在一次前向傳遞中生成多個Token，而不是傳統(tǒng)的每次只生成一個Token，從而大幅提升推理速度，在基準(zhǔn)測試中可實(shí)現(xiàn)超過3倍的加速。

Q2：這種技術(shù)相比投機(jī)解碼有什么優(yōu)勢？

A：與投機(jī)解碼不同，多Token預(yù)測技術(shù)無需輔助推測模型和專門的推理管道，只需訓(xùn)練單個模型就能實(shí)現(xiàn)加速。該方法保持與原始檢查點(diǎn)相同的實(shí)現(xiàn)方式，無需添加輔助驗(yàn)證器或其他專門推理代碼，部署更簡單。

Q3：ConfAdapt解碼策略是如何工作的？

A：ConfAdapt是置信度自適應(yīng)解碼策略，能動態(tài)確定每次傳遞發(fā)出多少個Token。當(dāng)模型高度自信時(shí)，它輸出更大的Token塊；當(dāng)不確定性增加時(shí)，它回退到較小的步驟。這種策略在保持速度增益的同時(shí)保持準(zhǔn)確性，特別適合結(jié)構(gòu)化任務(wù)和推理密集型工作負(fù)載。