當(dāng)我們與ChatGPT或其他AI聊天機(jī)器人對(duì)話時(shí)，它們總是能給出詳細(xì)的逐步推理過(guò)程，這種能力被稱(chēng)為"鏈?zhǔn)剿伎?。就像一個(gè)學(xué)生解數(shù)學(xué)題時(shí)會(huì)寫(xiě)下每一步計(jì)算過(guò)程一樣，AI也會(huì)展示它的思考軌跡。然而，這種詳細(xì)的推理過(guò)程雖然讓AI更加可靠，卻也帶來(lái)了一個(gè)令人頭疼的問(wèn)題：成本飛漲。

這項(xiàng)由南京大學(xué)、羅格斯大學(xué)和馬薩諸塞大學(xué)阿默斯特分校聯(lián)合開(kāi)展的研究，發(fā)表于2025年6月2日的arXiv預(yù)印本平臺(tái)，論文編號(hào)為arXiv:2412.18547v5。研究團(tuán)隊(duì)通過(guò)深入分析發(fā)現(xiàn)，當(dāng)前大語(yǔ)言模型的推理過(guò)程存在嚴(yán)重的"詞匯冗余"現(xiàn)象，就像一個(gè)啰嗦的老師總是用三句話來(lái)表達(dá)一句話就能說(shuō)清楚的內(nèi)容。

研究團(tuán)隊(duì)提出了一個(gè)有趣的觀察：當(dāng)你給AI設(shè)置一個(gè)合理的"用詞預(yù)算"時(shí)，它竟然能在保持準(zhǔn)確性的同時(shí)大幅減少?gòu)U話。這就好比告訴一個(gè)寫(xiě)作文的學(xué)生"請(qǐng)用不超過(guò)200字回答這個(gè)問(wèn)題"，學(xué)生就會(huì)更加精煉地組織語(yǔ)言?；谶@個(gè)發(fā)現(xiàn)，研究團(tuán)隊(duì)開(kāi)發(fā)了一套名為T(mén)ALE的智能推理框架，能夠根據(jù)問(wèn)題的復(fù)雜程度動(dòng)態(tài)調(diào)整AI的"話語(yǔ)量"。

一、AI推理中的"廢話"現(xiàn)象

在日常使用中，當(dāng)我們向AI提問(wèn)一個(gè)數(shù)學(xué)問(wèn)題時(shí)，比如"佩頓安排了一系列課后活動(dòng)，包括周一1小時(shí)的瑜伽課，周二一個(gè)時(shí)長(zhǎng)為周一瑜伽課9倍的烹飪課，周三半小時(shí)的奶酪品鑒活動(dòng)，周四一個(gè)時(shí)長(zhǎng)為烹飪課一半的博物館參觀，以及周五2小時(shí)的雜事。所有這些活動(dòng)總共需要多長(zhǎng)時(shí)間？"

如果直接詢(xún)問(wèn)，GPT-4o-mini可能只會(huì)給出簡(jiǎn)單的答案："12.5小時(shí)"，僅用了15個(gè)詞匯。但當(dāng)使用"讓我們逐步思考"這種提示詞時(shí)，AI會(huì)展開(kāi)詳細(xì)的推理過(guò)程，結(jié)果卻用了258個(gè)詞匯來(lái)解釋同樣的答案。這就像問(wèn)路時(shí)，有人只說(shuō)"向左轉(zhuǎn)"，而另一個(gè)人卻要從歷史地理開(kāi)始講起。

研究團(tuán)隊(duì)進(jìn)一步發(fā)現(xiàn)了一個(gè)令人驚訝的現(xiàn)象：當(dāng)他們?cè)谔崾局屑尤?請(qǐng)用不超過(guò)50個(gè)詞匯回答"這樣的預(yù)算限制時(shí)，AI的回答變得精煉很多，只用了86個(gè)詞匯就得到了正確答案。但是，如果預(yù)算設(shè)置得太嚴(yán)格，比如"不超過(guò)10個(gè)詞匯"，AI反而會(huì)"叛逆"，最終使用了157個(gè)詞匯，幾乎是50詞匯預(yù)算情況下的兩倍。

這種現(xiàn)象被研究團(tuán)隊(duì)稱(chēng)為"詞匯彈性"。就像給一個(gè)習(xí)慣了充足空間寫(xiě)作的人突然限制在便利貼上寫(xiě)文章，如果空間太小，他可能會(huì)放棄限制，寫(xiě)得比原來(lái)更長(zhǎng)。AI也有類(lèi)似的行為模式：當(dāng)詞匯預(yù)算過(guò)于緊張時(shí)，它會(huì)"放棄"遵守限制，回到冗長(zhǎng)的表達(dá)習(xí)慣。

二、尋找最優(yōu)的"話語(yǔ)預(yù)算"

為了解決這個(gè)問(wèn)題，研究團(tuán)隊(duì)開(kāi)發(fā)了一種搜索算法來(lái)找到每個(gè)問(wèn)題的最優(yōu)詞匯預(yù)算。這個(gè)過(guò)程就像為不同難度的考試題分配不同的答題時(shí)間：簡(jiǎn)單的選擇題給5分鐘，復(fù)雜的證明題給30分鐘。

他們的算法基于一個(gè)"隱式單調(diào)性假設(shè)"。簡(jiǎn)單來(lái)說(shuō)，就是假設(shè)當(dāng)AI在某個(gè)詞匯預(yù)算下答錯(cuò)了，那么在更少的詞匯預(yù)算下也會(huì)答錯(cuò)；反之，如果在某個(gè)預(yù)算下答對(duì)了，那么在更多的詞匯預(yù)算下也能答對(duì)。就像爬樓梯一樣，如果你在第10級(jí)臺(tái)階上累了，那么爬到第15級(jí)肯定更累；如果你能輕松爬到第20級(jí)，那么第15級(jí)對(duì)你來(lái)說(shuō)肯定不是問(wèn)題。

通過(guò)對(duì)數(shù)學(xué)基準(zhǔn)數(shù)據(jù)集GSM8K的測(cè)試，研究團(tuán)隊(duì)發(fā)現(xiàn)90.91%的問(wèn)題都滿足這種單調(diào)性假設(shè)。這意味著他們的搜索策略在絕大多數(shù)情況下都是有效的。

搜索算法使用二分法來(lái)快速定位最優(yōu)預(yù)算。就像猜數(shù)字游戲一樣，如果要在1到100之間猜一個(gè)數(shù)字，最聰明的策略是先猜50，根據(jù)"大了"或"小了"的反饋，再猜25或75，依此類(lèi)推。算法從AI無(wú)限制推理的詞匯量作為上界開(kāi)始，逐步縮小搜索范圍，直到找到既能保證答案正確又能最小化實(shí)際詞匯使用量的預(yù)算。

但研究團(tuán)隊(duì)很快發(fā)現(xiàn)，最小的可行預(yù)算并不等于最優(yōu)預(yù)算。當(dāng)預(yù)算過(guò)于緊張時(shí)，會(huì)觸發(fā)前面提到的"詞匯彈性"現(xiàn)象。因此，他們改進(jìn)了算法，不僅要求答案正確，還要求實(shí)際使用的詞匯量比之前搜索的預(yù)算更少，這樣確保找到的是真正能降低成本的預(yù)算。

三、兩種解決方案：估算提示法與后訓(xùn)練法

基于對(duì)詞匯冗余和最優(yōu)預(yù)算搜索的理解，研究團(tuán)隊(duì)提出了TALE框架的兩種實(shí)現(xiàn)方式，就像解決交通擁堵既可以通過(guò)智能導(dǎo)航系統(tǒng)指路，也可以通過(guò)重新規(guī)劃道路設(shè)計(jì)。

第一種方法叫做"估算提示法"（TALE-EP），工作原理就像一個(gè)經(jīng)驗(yàn)豐富的老師能夠快速判斷不同類(lèi)型題目需要多長(zhǎng)的解答篇幅。當(dāng)收到一個(gè)新問(wèn)題時(shí)，系統(tǒng)首先讓AI自己估算需要多少詞匯來(lái)回答這個(gè)問(wèn)題。這個(gè)過(guò)程使用了一個(gè)專(zhuān)門(mén)設(shè)計(jì)的提示詞："分析給定問(wèn)題并估算生成完整準(zhǔn)確回答所需的最少詞匯數(shù)量。請(qǐng)嚴(yán)格按照以下格式回答：預(yù)算：[[數(shù)字]]，例如，預(yù)算：[[12]]。"

這種方法的巧妙之處在于利用了AI本身的判斷能力。就像一個(gè)經(jīng)驗(yàn)豐富的廚師能夠看一眼食譜就知道需要多長(zhǎng)時(shí)間準(zhǔn)備，先進(jìn)的AI模型（如GPT-4o-mini）通常能夠相當(dāng)準(zhǔn)確地估算回答特定問(wèn)題所需的詞匯量。研究結(jié)果顯示，AI估算的預(yù)算通常很接近通過(guò)詳細(xì)搜索找到的最優(yōu)預(yù)算。

第二種方法稱(chēng)為"后訓(xùn)練法"（TALE-PT），就像重新訓(xùn)練一個(gè)司機(jī)養(yǎng)成更節(jié)油的駕駛習(xí)慣。這種方法分為兩個(gè)階段：首先使用搜索算法為大量問(wèn)題找到最優(yōu)的詞匯預(yù)算，然后用這些"精煉版"的回答來(lái)重新訓(xùn)練AI模型，讓它學(xué)會(huì)自然地產(chǎn)生更簡(jiǎn)潔的推理過(guò)程。

后訓(xùn)練過(guò)程提供了兩種具體實(shí)現(xiàn)方式。第一種是監(jiān)督微調(diào)，就像給學(xué)生提供標(biāo)準(zhǔn)答案讓他們學(xué)習(xí)模仿。系統(tǒng)使用精煉版的回答作為標(biāo)準(zhǔn)答案，訓(xùn)練AI模型學(xué)會(huì)在不明確給出詞匯限制的情況下也能產(chǎn)生簡(jiǎn)潔的推理。第二種是直接偏好優(yōu)化，更像是通過(guò)比較來(lái)教學(xué)。系統(tǒng)讓AI比較冗長(zhǎng)版本和精煉版本的回答，學(xué)會(huì)偏好更簡(jiǎn)潔但同樣準(zhǔn)確的表達(dá)方式。

四、實(shí)驗(yàn)驗(yàn)證與效果評(píng)估

研究團(tuán)隊(duì)在多個(gè)數(shù)學(xué)推理數(shù)據(jù)集上測(cè)試了TALE框架的效果，包括GSM8K、GSM8K-Zero和MathBench等具有挑戰(zhàn)性的數(shù)學(xué)問(wèn)題集。實(shí)驗(yàn)結(jié)果令人印象深刻，就像發(fā)現(xiàn)了一種既能保持食物營(yíng)養(yǎng)價(jià)值又能大幅減少食材浪費(fèi)的新烹飪方法。

在使用估算提示法（TALE-EP）的測(cè)試中，系統(tǒng)在保持高準(zhǔn)確率的同時(shí)顯著降低了詞匯成本。以GPT-4o-mini為例，傳統(tǒng)的鏈?zhǔn)酵评矸椒ㄆ骄鶞?zhǔn)確率為83.75%，每個(gè)樣本平均使用461.25個(gè)輸出詞匯，相應(yīng)的成本為289.78個(gè)單位。而TALE-EP達(dá)到了81.03%的準(zhǔn)確率，每個(gè)樣本僅使用148.72個(gè)輸出詞匯，成本降至118.46個(gè)單位。這意味著在準(zhǔn)確率僅下降2.72個(gè)百分點(diǎn)的情況下，詞匯使用量減少了67%，成本降低了59%。

更有趣的是，在某些數(shù)據(jù)集上，TALE-EP甚至超越了傳統(tǒng)方法的準(zhǔn)確率。在GSM8K數(shù)據(jù)集上，TALE-EP達(dá)到了84.46%的準(zhǔn)確率，比傳統(tǒng)鏈?zhǔn)酵评淼?1.35%還要高，同時(shí)詞匯使用量從318.10減少到77.26，成本從541.09降至279.84。這就像發(fā)現(xiàn)了一條既更快又更省油的新路線。

為了驗(yàn)證方法的通用性，研究團(tuán)隊(duì)還在其他幾種主流AI模型上測(cè)試了TALE-EP，包括Yi-lightning、GPT-4o和o3-mini。結(jié)果顯示，無(wú)論在哪種模型上，TALE-EP都能實(shí)現(xiàn)顯著的成本節(jié)約。在Yi-lightning上，詞匯使用量從998.10減少到373.52，成本從21.55降至17.25。在GPT-4o上，詞匯使用量從602.29減少到181.61，成本從1359.42大幅降至759.95。

后訓(xùn)練方法（TALE-PT）的表現(xiàn)同樣令人滿意。使用監(jiān)督微調(diào)的版本在GSM8K上達(dá)到了78.57%的準(zhǔn)確率，詞匯使用量為139.63，而使用直接偏好優(yōu)化的版本準(zhǔn)確率為74.11%，詞匯使用量為149.93。相比傳統(tǒng)方法的241.51個(gè)詞匯，兩種后訓(xùn)練方法都實(shí)現(xiàn)了約40-50%的詞匯節(jié)省。

五、方法的局限性與未來(lái)展望

研究團(tuán)隊(duì)坦誠(chéng)地指出了當(dāng)前方法的一些局限性，就像一個(gè)誠(chéng)實(shí)的產(chǎn)品經(jīng)理會(huì)告訴你這款產(chǎn)品目前還不適合所有使用場(chǎng)景。

首先，目前的TALE框架主要針對(duì)處理純文本輸入輸出的AI模型進(jìn)行了優(yōu)化。對(duì)于那些能夠同時(shí)處理和生成文本、圖像、音頻等多種形式內(nèi)容的多模態(tài)AI系統(tǒng)，現(xiàn)有方法還需要進(jìn)一步擴(kuò)展和適配。這就像一個(gè)專(zhuān)門(mén)為汽車(chē)設(shè)計(jì)的節(jié)油技術(shù)，要應(yīng)用到飛機(jī)上還需要額外的改進(jìn)。

其次，雖然估算提示法（TALE-EP）不需要額外的訓(xùn)練過(guò)程，但在實(shí)際部署時(shí)需要進(jìn)行一次額外的預(yù)算估算查詢(xún)，這會(huì)帶來(lái)輕微的延遲。不過(guò)研究顯示，這種延遲是可以接受的：TALE-EP處理每個(gè)樣本平均只需要2.3秒，而傳統(tǒng)方法需要10.2秒，因?yàn)楣?jié)省下來(lái)的推理時(shí)間遠(yuǎn)超過(guò)額外的預(yù)算估算時(shí)間。

對(duì)于后訓(xùn)練方法（TALE-PT），雖然需要一次性的離線訓(xùn)練成本，但一旦訓(xùn)練完成，就可以在實(shí)際使用中直接獲得節(jié)約效果，不需要額外的預(yù)算估算步驟。研究團(tuán)隊(duì)測(cè)算，在GSM8K數(shù)據(jù)集（包含7473個(gè)樣本）上進(jìn)行最優(yōu)預(yù)算搜索大約需要354分鐘的A100 GPU時(shí)間，考慮到這是一次性成本，研究團(tuán)隊(duì)認(rèn)為這個(gè)代價(jià)是可以接受的。

另外，研究團(tuán)隊(duì)發(fā)現(xiàn)他們提出的"隱式單調(diào)性假設(shè)"雖然在90%以上的情況下成立，但仍有約10%的問(wèn)題不完全符合這個(gè)假設(shè)。這意味著對(duì)于少數(shù)復(fù)雜問(wèn)題，搜索算法可能無(wú)法找到真正的最優(yōu)預(yù)算。未來(lái)的改進(jìn)可以針對(duì)這些特殊情況開(kāi)發(fā)更精細(xì)的搜索策略。

從更廣闊的視角看，這項(xiàng)研究開(kāi)辟了一個(gè)新的研究方向：如何在保持AI能力的同時(shí)優(yōu)化其計(jì)算效率。隨著AI系統(tǒng)越來(lái)越多地被部署到移動(dòng)設(shè)備、嵌入式系統(tǒng)等資源受限的環(huán)境中，這種"既要又要"的優(yōu)化需求將變得越來(lái)越重要。TALE框架提供的思路不僅適用于文本推理，也可能為其他類(lèi)型的AI任務(wù)優(yōu)化提供啟發(fā)。

研究團(tuán)隊(duì)表示，未來(lái)的工作將重點(diǎn)解決多模態(tài)內(nèi)容的預(yù)算分配問(wèn)題。例如，對(duì)于能夠同時(shí)生成文字說(shuō)明和配圖的AI系統(tǒng)，如何合理分配"文字預(yù)算"和"圖像復(fù)雜度預(yù)算"，以及如何在不同模態(tài)之間進(jìn)行資源調(diào)配，都是值得深入探索的問(wèn)題。

歸根結(jié)底，這項(xiàng)研究為我們提供了一個(gè)重要啟示：智能不一定等同于冗長(zhǎng)，簡(jiǎn)潔往往蘊(yùn)含著更高層次的智慧。通過(guò)TALE框架，我們看到了AI系統(tǒng)在保持準(zhǔn)確性的同時(shí)實(shí)現(xiàn)效率優(yōu)化的可能性。這不僅有助于降低AI應(yīng)用的成本門(mén)檻，也為AI技術(shù)的更廣泛普及鋪平了道路。當(dāng)AI能夠以更少的資源消耗提供同樣優(yōu)質(zhì)的服務(wù)時(shí)，更多的個(gè)人和組織將能夠負(fù)擔(dān)得起這些先進(jìn)技術(shù)，從而推動(dòng)整個(gè)社會(huì)的數(shù)字化轉(zhuǎn)型進(jìn)程。

Q&A

Q1：TALE框架是如何工作的？

A：TALE框架通過(guò)兩種方式讓AI推理更省錢(qián)：估算提示法讓AI先估算需要多少詞匯回答問(wèn)題，然后設(shè)置相應(yīng)限制；后訓(xùn)練法則重新訓(xùn)練AI模型，讓它自然產(chǎn)生更簡(jiǎn)潔的推理過(guò)程。就像教一個(gè)啰嗦的人學(xué)會(huì)言簡(jiǎn)意賅地表達(dá)。

Q2：使用TALE框架會(huì)不會(huì)影響AI回答的準(zhǔn)確性？

A：研究顯示TALE框架能在準(zhǔn)確率僅下降3%的情況下，將詞匯使用量減少67%，成本降低59%。在某些數(shù)學(xué)問(wèn)題上，TALE甚至比傳統(tǒng)方法更準(zhǔn)確，因?yàn)槿コ哂嘈畔⒑笸评砀逦?/p>

Q3：TALE框架適用于所有類(lèi)型的AI模型嗎？

A：目前TALE主要針對(duì)文本輸入輸出的AI模型進(jìn)行了優(yōu)化，在GPT-4o-mini、Yi-lightning、GPT-4o等多種主流模型上都驗(yàn)證有效。但對(duì)于能同時(shí)處理圖像、音頻的多模態(tài)AI系統(tǒng)，還需要進(jìn)一步擴(kuò)展適配。