隨著如 GPT-4o 這類大型語(yǔ)言模型（LLMs）在復(fù)雜推理任務(wù)中占據(jù)領(lǐng)先，人們常認(rèn)為只有這樣規(guī)模的模型才能勝任高難度問(wèn)題。但這種能力背后伴隨著高成本、長(zhǎng)時(shí)間推理和巨量算力消耗。

就比如一個(gè)簡(jiǎn)單的數(shù)獨(dú)，現(xiàn)有大型語(yǔ)言模型能解決，但小模型往往無(wú)能為力。無(wú)論是模型模型（LM）試圖解決高級(jí)謎題、設(shè)計(jì)分子，還是編寫數(shù)學(xué)證明，系統(tǒng)都難以應(yīng)對(duì)那些有嚴(yán)格規(guī)則的開(kāi)放式請(qǐng)求。

MIT 計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（CSAIL）提出了一種全新的協(xié)作策略：讓大型模型負(fù)責(zé)「策略規(guī)劃」，而把實(shí)際細(xì)節(jié)任務(wù)分發(fā)給低成本的小模型執(zhí)行。這種方法稱為DisCIPL，它能使小模型在復(fù)雜任務(wù)上達(dá)到與頂級(jí)大模型接近的性能，同時(shí)顯著降低成本。

相關(guān)的研究?jī)?nèi)容以「Self-Steering Language Models」為題發(fā)布在arxiv。

論文鏈接：https://arxiv.org/abs/2504.07081

讓小模型處理復(fù)雜任務(wù)

語(yǔ)言模型目前面臨一個(gè)基本困境：小模型算力低、參數(shù)少，推理能力有限，它們難以解決涉及嚴(yán)格約束、長(zhǎng)程依賴或高級(jí)邏輯的問(wèn)題；大型模型推理能力強(qiáng)，但成本極高：需要大量算力、內(nèi)存和時(shí)間，在很多應(yīng)用場(chǎng)景（邊緣設(shè)備、實(shí)時(shí)交互）并不適用。

傳統(tǒng)的提升方式主要還是擴(kuò)大模型規(guī)模，但這并不是一個(gè)可持續(xù)發(fā)展路線。DisCIPL 策略的出發(fā)點(diǎn)也正是基于這種考慮。對(duì)于復(fù)雜任務(wù)，需要明確任務(wù)的「策略層邏輯」，并將推理過(guò)程進(jìn)行拆解，協(xié)調(diào)小模型合作。

圖示：帶有概率程序的自導(dǎo)向語(yǔ)言模型。

更具體來(lái)說(shuō)，該策略能夠在撰寫諸如文本摘要、帶預(yù)算的購(gòu)物清單和旅行計(jì)劃等內(nèi)容時(shí)，引導(dǎo)較大的模型將較小的「跟隨」模型導(dǎo)向精確的響應(yīng)。換而言之，大模型作為規(guī)劃者，小模型作為執(zhí)行者。

團(tuán)隊(duì)對(duì)該策略的實(shí)現(xiàn)建立在 LLaMPPL 之上，該程序由 MIT 的概率計(jì)算項(xiàng)目于 2023 年開(kāi)發(fā)，允許用戶編碼特定規(guī)則以引導(dǎo)模型朝著期望的結(jié)果發(fā)展。LLaMPPL 程序通過(guò)反復(fù)擴(kuò)展候選生成序列一個(gè)或多個(gè)標(biāo)記，并對(duì)提出的擴(kuò)展進(jìn)行評(píng)分來(lái)運(yùn)行。

DisCIPL 中的程序遵循幾種常見(jiàn)的推理模式：

• 逐步問(wèn)題分解；
• 先驗(yàn)提示與提案提示；
• 帶權(quán)重校正的約束生成；
• 自提示；
• 自檢。

這些推理模式已經(jīng)實(shí)現(xiàn)庫(kù)支持，并在規(guī)劃工具提示中予以展示。

測(cè)試與結(jié)果

研究團(tuán)隊(duì)采取了多方驗(yàn)證以評(píng)估 DisCIPL 的性能，這包括寫約束性強(qiáng)的段落（例如固定單詞數(shù)量、固定關(guān)鍵詞位置）、復(fù)雜推理任務(wù)（邏輯結(jié)構(gòu)、規(guī)則性輸出）與標(biāo)準(zhǔn)大模型推理用例。

團(tuán)隊(duì)將 DisCIPL 協(xié)作框架與這些系統(tǒng)作對(duì)比：Follower-only baseline：僅用小模型執(zhí)行任務(wù)；GPT-4o 單體執(zhí)行：大型模型獨(dú)立完成；O1（另一先進(jìn)推理系統(tǒng)）。

圖示：在 Collie 的句子層級(jí)任務(wù)上的有效性。

DisCIPL 首次展示了按照顯性規(guī)則生成句子和段落的能力。在準(zhǔn)確性與連貫性方面，DisCIPL 的輸出質(zhì)量接近甚至在某些約束任務(wù)上優(yōu)于 GPT-4o 與 O1，遠(yuǎn)超 follower-only baseline。在實(shí)際應(yīng)用中，研究人員發(fā)現(xiàn)，與 o1 相比，DisCIPL 的推理時(shí)間縮短了 40.1%，成本降低了 80.2%。

全方位提升

DisCIPL 的效率提升部分歸功于使用小型 Llama 模型作為執(zhí)行者，這些模型每 token 的成本比類似的推理模型低 1000 到 10000 倍。這讓 DisCIPL 更具「可擴(kuò)展性」——研究人員能夠以極低的成本并行運(yùn)行數(shù)十個(gè) Llama 模型。

DisCIPL 證明，即便是規(guī)模小、資源消耗低的語(yǔ)言模型，也可以在協(xié)作框架下完成本來(lái)只有大型模型才能勝任的復(fù)雜任務(wù)，且效率更高、成本更低。這種將復(fù)雜問(wèn)題分散為子任務(wù)的結(jié)果整合機(jī)制有望在更廣闊的任務(wù)空間中普及。