3.5 t/s降到2.5 t/s，我花了3天驗(yàn)證一個(gè)反直覺(jué)的結(jié)論——在8G顯存上，推測(cè)解碼（Speculative Decoding）不是加速器，是減速帶。

這個(gè)技術(shù)的賣(mài)點(diǎn)很誘人：用小模型起草token，大模型批量驗(yàn)證，理論上能拿到大模型質(zhì)量+小模型速度。DeepMind 2022年論文發(fā)表后，llama.cpp一行-md參數(shù)就能開(kāi)啟。我手頭的RTX 4060 Laptop 8G，跑27B模型 baseline 3.5 t/s，要是能逼近9B模型的33 t/s，哪怕打個(gè)對(duì)折都是血賺。

實(shí)測(cè)結(jié)果：0.8B、4B、9B三種草稿模型，全部比基線(xiàn)慢。

問(wèn)題從顯存墻開(kāi)始。27B+9B雙模型同時(shí)加載，Q4_K_M量化下需要約22.5G顯存——是8G顯存的3倍。單跑27B時(shí)，我最多只能塞24層到GPU（ngl=24），雙模型？第一反應(yīng)是不可能。

llama.cpp給了條活路：-ngl和-ngld可以獨(dú)立設(shè)置，把8G顯存拆成"主模型部分層+草稿模型全層"。草稿越小，主模型能搶到的顯存越多：

? 0.8B草稿（0.6G）→ 27B分到7.4G → 20層上GPU
? 4B草稿（2.5G）→ 27B分到5.5G → 13層上GPU
? 9B草稿（5.5G）→ 27B分到2.5G → 0層，純CPU跑

這里有個(gè) tradeoff：草稿越大，接受率越高，但主模型被擠到CPU；草稿越小，GPU層數(shù)越多，但起草質(zhì)量下降。我測(cè)了全部三種配置找甜點(diǎn)。

測(cè)試1：0.8B草稿，20層GPU

顯存占用約7.1G，生成速度3.1 t/s。比基線(xiàn)慢11%。

草稿模型太小，起草的token質(zhì)量差，大模型驗(yàn)證時(shí)頻繁拒絕。雖然27B有20層在GPU，但驗(yàn)證開(kāi)銷(xiāo)抵消了草稿節(jié)省的時(shí)間。推測(cè)解碼的"批量驗(yàn)證"優(yōu)勢(shì)，被低接受率吃掉了。

測(cè)試2：4B草稿，13層GPU

顯存占用約7.0G，生成速度2.8 t/s。比基線(xiàn)慢20%。

草稿質(zhì)量提升，但主模型只剩13層在GPU，CPU-GPU數(shù)據(jù)傳輸成為瓶頸。27B的35層在CPU上跑，每次驗(yàn)證都要跨總線(xiàn)搬運(yùn)數(shù)據(jù)。4B草稿起草快，但大模型驗(yàn)證慢，整體反而更差。

測(cè)試3：9B草稿，純CPU跑主模型

顯存占用5.5G，生成速度2.5 t/s。比基線(xiàn)慢29%。

這是最極端的配置。9B草稿全在GPU上，起草速度飛快（參考：?jiǎn)闻?B能到33 t/s），但27B主模型完全在CPU上。驗(yàn)證階段變成CPU單線(xiàn)程苦戰(zhàn)，草稿省下的時(shí)間被驗(yàn)證拖垮。

三種配置全部陣亡，沒(méi)有一個(gè)接近理論上的2-3倍加速。8G顯存這個(gè)硬邊界，讓推測(cè)解碼的核心假設(shè)失效——它假設(shè)草稿模型和大模型能同時(shí)高效運(yùn)行，但顯存不足時(shí)，你必須砍掉大模型的GPU層數(shù)。

我查了下社區(qū)反饋，這不是個(gè)例。llama.cpp的GitHub issue里，8G-12G顯存用戶(hù)的抱怨很集中：推測(cè)解碼在小顯存上"能用"但"不快"。有人用16G顯存測(cè)27B+7B組合，能拿到1.5-2倍加速；24G顯存才是這個(gè)技術(shù)的舒適區(qū)。

一個(gè)細(xì)節(jié)：我的測(cè)試固定了--draft-max 8（每次推測(cè)8個(gè)token），接受率數(shù)據(jù)沒(méi)單獨(dú)記錄。但從速度反推，0.8B草稿的接受率可能不到50%，4B和9B會(huì)高一些，但驗(yàn)證開(kāi)銷(xiāo)的增長(zhǎng)更快。

另一個(gè)變量是量化方式。我用的是Q4_K_M，如果換Q5或Q6，顯存占用增加，GPU層數(shù)進(jìn)一步減少，情況會(huì)更糟。反過(guò)來(lái)，Q3可能緩解，但質(zhì)量損失是另一筆賬。

這次測(cè)試的硬件環(huán)境：Ryzen 7 7845HS / 32G DDR5 / RTX 4060 Laptop 8G。桌面端8G卡（RTX 4060/3060）情況類(lèi)似，筆記本顯存帶寬更低，可能更差。

結(jié)論很直白：8G顯存用戶(hù)，現(xiàn)階段別折騰推測(cè)解碼了。把ngl拉滿(mǎn)，單模型跑滿(mǎn)血，比花里胡哨的雙模型配置更實(shí)在。等技術(shù)優(yōu)化（比如更激進(jìn)的層卸載策略，或者草稿模型的新架構(gòu)）再 revisit 不遲。

你手頭的卡是多少顯存？測(cè)過(guò)推測(cè)解碼嗎，結(jié)果如何？