2016年，谷歌翻譯突然從"逐詞替換"變成能讀完整句再輸出。當(dāng)時(shí)沒(méi)人解釋清楚：機(jī)器生成句子時(shí)，怎么判斷該在哪停下？

這個(gè)細(xì)節(jié)被埋在技術(shù)文檔里整整8年，直到最近一批工程師復(fù)盤Seq2Seq架構(gòu)時(shí)才被重新翻出來(lái)。答案藏在三個(gè)字母里：EOS。

EOS不是標(biāo)點(diǎn)，是模型的"剎車踏板"

訓(xùn)練好的解碼器（Decoder）本質(zhì)上是個(gè)貪婪的單詞預(yù)測(cè)機(jī)器。給它一個(gè)起始信號(hào)，它會(huì)不斷吐詞，直到——遇到那個(gè)預(yù)設(shè)的終止符。

具體流程像流水線：編碼器（Encoder）先把"let's go"壓成一個(gè)上下文向量（Context Vector），這個(gè)向量初始化解碼器的兩層長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM，一種能記住長(zhǎng)距離依賴的循環(huán)神經(jīng)網(wǎng)絡(luò)）。解碼器第一步吃進(jìn)一個(gè)特殊標(biāo)記EOS（End of Sequence，序列結(jié)束符），輸出"Vamos"；第二步把"Vamos"塞回輸入端，預(yù)測(cè)下一個(gè)詞——又是EOS。

兩次EOS之間的所有輸出，就是最終翻譯結(jié)果。

這里有個(gè)反直覺(jué)的設(shè)計(jì)：EOS既是解碼器的"啟動(dòng)鑰匙"，又是"剎車信號(hào)"。訓(xùn)練時(shí)它告訴模型"從這里開始生成"；推理時(shí)它告訴模型"到這里可以結(jié)束了"。同一個(gè)標(biāo)記承擔(dān)兩種完全相反的功能，卻從不混淆，因?yàn)槲恢脹Q定了它的身份。

原文作者用了一個(gè)精妙的類比：這就像你給朋友發(fā)語(yǔ)音，先說(shuō)"我開始說(shuō)了"作為開頭標(biāo)記，最后說(shuō)"我說(shuō)完了"作為結(jié)束標(biāo)記。機(jī)器需要明確的邊界，否則會(huì)在無(wú)限循環(huán)里耗盡算力。

Teacher Forcing：訓(xùn)練時(shí)的"作弊碼"

推理階段用預(yù)測(cè)值喂給下一步輸入，但訓(xùn)練階段完全不同。工程師們搞了個(gè)叫"教師強(qiáng)制"（Teacher Forcing）的技巧：不管模型上一步預(yù)測(cè)出什么，都強(qiáng)行塞進(jìn)正確答案。

比如目標(biāo)句子是"Vamos EOS"，即使模型第一步預(yù)測(cè)成了"Hola"，第二步的輸入仍然是正確的"Vamos"，而不是它自己猜錯(cuò)的詞。這相當(dāng)于給模型開卷考試，讓它先學(xué)會(huì)"正確的上下文長(zhǎng)什么樣"，再慢慢學(xué)會(huì)自己走路。

這種設(shè)計(jì)有個(gè)副作用：訓(xùn)練和推理的輸入分布不一致。模型在訓(xùn)練時(shí)從沒(méi)見過(guò)自己的錯(cuò)誤預(yù)測(cè)，到了真實(shí)場(chǎng)景可能懵圈。2015年的原始論文已經(jīng)注意到這個(gè)問(wèn)題，但直到2019年才有系統(tǒng)性的緩解方案——這又是另一個(gè)故事了。

那個(gè)被硬編碼的"最大長(zhǎng)度"

原文提到一句容易被忽略的話："預(yù)測(cè)到EOS，或達(dá)到某個(gè)最大輸出長(zhǎng)度"。這個(gè)"或"字背后，是無(wú)數(shù)線上事故的源頭。

早期系統(tǒng)把最大長(zhǎng)度設(shè)得偏保守，長(zhǎng)句被硬生生截?cái)啵缓髞?lái)放寬限制，又出現(xiàn)過(guò)模型陷入循環(huán)、瘋狂重復(fù)同一個(gè)短語(yǔ)的情況。2017年谷歌內(nèi)部有個(gè)著名案例：某次模型更新后，西班牙語(yǔ)譯文的平均長(zhǎng)度突然暴漲40%，追查發(fā)現(xiàn)是新版本對(duì)EOS的置信度閾值調(diào)得太激進(jìn)，模型寧可無(wú)限生成也不說(shuō)結(jié)束。

現(xiàn)在的做法通常是雙重保險(xiǎn)：EOS預(yù)測(cè)概率超過(guò)閾值就停，同時(shí)設(shè)置絕對(duì)長(zhǎng)度上限。兩個(gè)條件滿足任意一個(gè)，強(qiáng)制終止。這種"軟剎車+硬剎車"的組合，成了工業(yè)界的事實(shí)標(biāo)準(zhǔn)。

但閾值設(shè)多少？上限定多長(zhǎng)？不同語(yǔ)言差異極大。日語(yǔ)敬語(yǔ)系統(tǒng)復(fù)雜，同樣意思的句子可能比英語(yǔ)長(zhǎng)3倍；中文信息密度高，同樣內(nèi)容可能只有英語(yǔ)60%長(zhǎng)度。這些細(xì)節(jié)不會(huì)出現(xiàn)在論文里，是工程團(tuán)隊(duì)用A/B測(cè)試一寸一寸試出來(lái)的。

從Seq2Seq到注意力：EOS的謝幕演出

原文結(jié)尾預(yù)告了下一篇主題：注意力機(jī)制（Attention Mechanism）。這幾乎是Seq2Seq架構(gòu)的臨終遺言。

2017年Transformer論文發(fā)表后，固定的上下文向量被動(dòng)態(tài)注意力權(quán)重取代，LSTM層被多頭自注意力替代，但EOS標(biāo)記保留了下來(lái)。即使在GPT-4里，你依然能在詞表深處找到它——只不過(guò)現(xiàn)在它叫`<|endoftext|>`，或者Claude里的`<|assistant|>`。

標(biāo)記的形式變了，功能沒(méi)變：告訴模型，生成到此為止。

有個(gè)細(xì)節(jié)很少被討論：現(xiàn)代大模型的"停止"遠(yuǎn)比當(dāng)年復(fù)雜。除了顯式的結(jié)束標(biāo)記，還有隱式的模式匹配（比如檢測(cè)到重復(fù)的句子結(jié)構(gòu)）、實(shí)時(shí)的困惑度（Perplexity）監(jiān)控、甚至外部工具調(diào)用的中斷信號(hào)。EOS從唯一的剎車踏板，變成了多層安全系統(tǒng)中的一個(gè)開關(guān)。

但回到2014年，當(dāng)Ilya Sutskever在論文里第一次寫下那個(gè)簡(jiǎn)單的循環(huán)條件時(shí)，他可能沒(méi)想到這個(gè)設(shè)計(jì)會(huì)延續(xù)十年，成為所有生成式AI的底層共識(shí)。

下次你用ChatGPT時(shí)，可以留意它的輸出是怎么結(jié)束的——是突然截?cái)?，還是自然收尾？那個(gè)看不見的EOS，正在以毫秒級(jí)的速度被計(jì)算、被比較、被觸發(fā)。而你讀到的每一個(gè)完整句子，都是它成功工作的證明。

如果模型突然在某個(gè)奇怪的位置停下，比如一句話說(shuō)到一半就結(jié)束，你猜是EOS閾值設(shè)得太敏感，還是它其實(shí)想繼續(xù)但撞上了長(zhǎng)度上限？