騰訊在Hugging Face上發(fā)布了一個(gè)專門用來(lái)翻譯的模型，叫做Hunyuan-MT-7B。根據(jù)它的官方介紹，這個(gè)翻譯模型在WMT25競(jìng)賽中，該模型在參與的31個(gè)語(yǔ)言類別中有30個(gè)獲得了第一名。并且在同等規(guī)模模型中實(shí)現(xiàn)了行業(yè)領(lǐng)先的性能。

而Hunyuan-MT-7B的集成模型Hunyuan-MT-Chimera-7B，是業(yè)界首個(gè)開(kāi)源翻譯集成模型，將翻譯質(zhì)量提升至新高度。所謂集成模型，是指一種機(jī)器學(xué)習(xí)方法。它的核心思想是，不依賴單個(gè)模型進(jìn)行預(yù)測(cè)或判斷，而是將多個(gè)模型的預(yù)測(cè)結(jié)果結(jié)合起來(lái)，從而獲得比任何一個(gè)單一模型都更好、更穩(wěn)定的最終結(jié)果。

那么回到翻譯這個(gè)事上來(lái)，Chimera的邏輯就是讓MT-7B翻譯系統(tǒng)生成多個(gè)不同的翻譯候選版本，會(huì)分析這些候選版本，將它們各自的優(yōu)點(diǎn)整合起來(lái)。最后，生成一個(gè)質(zhì)量超越了任何一個(gè)單一候選版本的、更優(yōu)的最終譯文。

但是由于官網(wǎng)目前只有MT-7B這一種版本，因此本文只對(duì)該版本進(jìn)行了測(cè)試。

01

這里我使用的都是很常見(jiàn)的英語(yǔ)臺(tái)詞，出自各種經(jīng)典讀物。

出自《羅密歐與朱麗葉》，原文通常被翻譯為“姓名算得了什么？我們所稱的玫瑰，換個(gè)名字還是一樣芳香”

出自《雙城記》，這個(gè)翻譯的非常精準(zhǔn)。

出自《了不起的蓋茨比》，同樣也翻譯得非常精準(zhǔn)。

接下來(lái)，提高難度，我開(kāi)始用一些現(xiàn)代英語(yǔ)臺(tái)詞來(lái)測(cè)試模型的翻譯效果。

這句話是《英雄聯(lián)盟》戲命師 燼的選定語(yǔ)音，我于殺戮之中盛放，亦如黎明中的花朵。

這句話來(lái)自電影《蜘蛛俠》，通常我們翻譯成“能力越大，責(zé)任越大”。

既然英語(yǔ)差不多沒(méi)問(wèn)題，就來(lái)試試日語(yǔ)和韓語(yǔ)。

這是《游戲王5D'S》紅蓮魔龍召喚臺(tái)詞，王者的鼓動(dòng)，現(xiàn)在于此列成陣勢(shì)！看著這天地鳴動(dòng)的力量吧！同調(diào)召喚，吾之魂，紅蓮魔龍！日語(yǔ)中的鼓動(dòng)（こどう）并非全部都是心跳的意思，也可以指脈動(dòng)、律動(dòng)、震動(dòng)等等。

今ここに列をなす，要拆分出來(lái)理解。其中“今”代表此時(shí)此刻，“ここに”是在這里，指的是地點(diǎn)，“列をなす”是組成一列，而混元將其簡(jiǎn)單譯作“此刻在此匯聚”并不是很合適。

在韓語(yǔ)方面，Hunyuan-MT-7B也表現(xiàn)得不錯(cuò)。

這是K/DA歌曲《POP STAR》中阿卡麗（田小娟）的第一句歌詞，即便是英語(yǔ)和韓語(yǔ)混雜，MT-7B翻譯得依然非常準(zhǔn)確。

如果帶著Emoji一起翻譯，那么混元MT可能會(huì)出現(xiàn)吞字的情況。比如圖中的許秀虧桑提圣經(jīng)，混元沒(méi)有翻譯出??201。?? 是 ?? ???的縮寫，??是魔法，???是抵抗力，因此 ??201 的意思是魔法抗性是201。

02

從官方發(fā)布的技術(shù)報(bào)告來(lái)看，騰訊混元MT設(shè)計(jì)的目標(biāo)是提供高質(zhì)量的多語(yǔ)言互譯能力，現(xiàn)階段支持包括中文、英文、日文以及哈薩克語(yǔ)、維吾爾語(yǔ)、蒙古語(yǔ)、藏語(yǔ)等5種中國(guó)少數(shù)民族語(yǔ)言在內(nèi)的33種語(yǔ)言之間的雙向翻譯。

混元MT的構(gòu)建采用了一套完整的、系統(tǒng)化的訓(xùn)練框架，這個(gè)框架將模型的訓(xùn)練過(guò)程分解為幾個(gè)前后銜接的階段，旨在逐步提升模型的翻譯能力。整個(gè)流程從未經(jīng)特定任務(wù)訓(xùn)練的基礎(chǔ)模型開(kāi)始，通過(guò)一系列專門針對(duì)機(jī)器翻譯的優(yōu)化步驟，最終產(chǎn)出具備專業(yè)翻譯能力的模型。

訓(xùn)練流程的第一個(gè)環(huán)節(jié)是通用預(yù)訓(xùn)練。這個(gè)階段的目標(biāo)是構(gòu)建一個(gè)具備廣泛知識(shí)和多語(yǔ)言基礎(chǔ)理解能力的基座模型，即Hunyuan-7B-Base。在訓(xùn)練過(guò)程中，模型學(xué)習(xí)了包含中文、英文以及其他多種語(yǔ)言在內(nèi)的數(shù)據(jù)，其中非中英文的多語(yǔ)言數(shù)據(jù)量達(dá)到了1.3萬(wàn)億個(gè)tokens。

為了確保訓(xùn)練數(shù)據(jù)的質(zhì)量和多樣性，研發(fā)團(tuán)隊(duì)建立了一套數(shù)據(jù)質(zhì)量評(píng)估體系。該體系從知識(shí)價(jià)值、真實(shí)性和寫作風(fēng)格三個(gè)維度對(duì)文本進(jìn)行打分，并根據(jù)數(shù)據(jù)來(lái)源的特性，對(duì)不同維度的權(quán)重進(jìn)行調(diào)整。比如翻譯專業(yè)知識(shí)的網(wǎng)站，就會(huì)優(yōu)先選擇知識(shí)價(jià)值得分高的數(shù)據(jù)。

同時(shí)，為了保證內(nèi)容覆蓋面的均衡，還建立了學(xué)科、行業(yè)和內(nèi)容主題三個(gè)層面的標(biāo)簽系統(tǒng)，用以調(diào)整不同領(lǐng)域數(shù)據(jù)的比例，并過(guò)濾掉低質(zhì)量或不相關(guān)的內(nèi)容。通過(guò)這一階段的訓(xùn)練，Hunyuan-7B-Base模型在通用知識(shí)、邏輯推理、數(shù)學(xué)、編程和多語(yǔ)言能力上奠定了基礎(chǔ)。

接下來(lái)的第二個(gè)環(huán)節(jié)是面向機(jī)器翻譯的預(yù)訓(xùn)練。這個(gè)階段在通用基座模型的基礎(chǔ)上，加入了大量為翻譯任務(wù)篩選的單語(yǔ)和雙語(yǔ)語(yǔ)料，目的是使模型的能力向翻譯領(lǐng)域傾斜和深化。單語(yǔ)數(shù)據(jù)主要來(lái)源于mC4和OSCAR等公開(kāi)數(shù)據(jù)集，并經(jīng)過(guò)了嚴(yán)格的清洗流程，包括語(yǔ)言識(shí)別、文檔級(jí)別去重以及使用語(yǔ)言模型過(guò)濾掉高困惑度的低質(zhì)量文本。

雙語(yǔ)平行語(yǔ)料則來(lái)自O(shè)PUS和ParaCrawl等公開(kāi)數(shù)據(jù)集，團(tuán)隊(duì)使用CometKiwi等無(wú)需參考譯文的質(zhì)量評(píng)估工具進(jìn)行篩選，以保證句對(duì)的質(zhì)量。為了確定不同來(lái)源數(shù)據(jù)的最佳混合比例，團(tuán)隊(duì)采用了一種名為RegMix的策略，通過(guò)在小規(guī)模模型上進(jìn)行實(shí)驗(yàn)，找到能夠使訓(xùn)練損失最小化的數(shù)據(jù)配比，并將其應(yīng)用于正式的訓(xùn)練中。

此外，為了防止模型在學(xué)習(xí)新知識(shí)時(shí)遺忘通用預(yù)訓(xùn)練階段學(xué)到的能力，訓(xùn)練數(shù)據(jù)中還包含了20%的原始預(yù)訓(xùn)練語(yǔ)料作為重放數(shù)據(jù)。

完成兩個(gè)預(yù)訓(xùn)練階段后，模型進(jìn)入第三個(gè)環(huán)節(jié)，即后訓(xùn)練階段。這一階段通過(guò)監(jiān)督微調(diào)（SFT）和強(qiáng)化學(xué)習(xí)（RL）等技術(shù)，將模型的翻譯能力進(jìn)行精細(xì)化調(diào)優(yōu)和對(duì)齊。監(jiān)督微調(diào)分為兩個(gè)步驟。第一步使用約300萬(wàn)句對(duì)的平行語(yǔ)料，旨在增強(qiáng)模型的基礎(chǔ)翻譯能力和遵循指令的能力。

這些數(shù)據(jù)來(lái)自多個(gè)來(lái)源，包括Flores-200開(kāi)發(fā)集、往年的WMT評(píng)測(cè)測(cè)試集、人工標(biāo)注的中文與少數(shù)民族語(yǔ)言互譯數(shù)據(jù)集，以及使用DeepSeek-V3-0324模型生成的合成數(shù)據(jù)。數(shù)據(jù)同樣經(jīng)過(guò)CometKiwi和GEMBA等質(zhì)量評(píng)估指標(biāo)的篩選。第二步則使用一個(gè)規(guī)模更小但質(zhì)量更高的數(shù)據(jù)集（約26.8萬(wàn)句對(duì)）對(duì)模型進(jìn)行進(jìn)一步的精煉。這些數(shù)據(jù)經(jīng)過(guò)了更嚴(yán)格的篩選過(guò)程，并對(duì)多輪評(píng)估中得分一致性較差的樣本進(jìn)行了人工校驗(yàn)。

監(jiān)督微調(diào)之后是強(qiáng)化學(xué)習(xí)階段。機(jī)器翻譯任務(wù)的輸出具有語(yǔ)義多樣性，難以用簡(jiǎn)單的規(guī)則進(jìn)行評(píng)估，這為強(qiáng)化學(xué)習(xí)的應(yīng)用帶來(lái)了挑戰(zhàn)。為解決此問(wèn)題，混元MT采用了GRPO算法，并設(shè)計(jì)了一個(gè)復(fù)合獎(jiǎng)勵(lì)函數(shù)。

該獎(jiǎng)勵(lì)函數(shù)包含三個(gè)部分：第一部分是質(zhì)量感知獎(jiǎng)勵(lì)，使用與人類譯員判斷高度相關(guān)的XCOMET-XXL評(píng)分和基于DeepSeek-V3-0324模型的GEMBA框架評(píng)分，共同評(píng)估翻譯的整體質(zhì)量；第二部分是術(shù)語(yǔ)感知獎(jiǎng)勵(lì)，它利用詞對(duì)齊工具提取源文和譯文中的術(shù)語(yǔ)等關(guān)鍵信息，通過(guò)計(jì)算二者的重合率來(lái)獎(jiǎng)勵(lì)模型，促使模型更關(guān)注專業(yè)術(shù)語(yǔ)的準(zhǔn)確翻譯；第三部分是重復(fù)懲罰，用于檢測(cè)和懲罰模型在訓(xùn)練后期可能出現(xiàn)的重復(fù)輸出，以維持生成內(nèi)容的多樣性和訓(xùn)練的穩(wěn)定性。

經(jīng)過(guò)這一系列后訓(xùn)練流程，最終產(chǎn)出的模型即為Hunyuan-MT-7B。

03

在Hunyuan-MT-7B的基礎(chǔ)上，系統(tǒng)還構(gòu)建了Hunyuan-MT-Chimera-7B模型。該模型采用了一種弱到強(qiáng)的強(qiáng)化學(xué)習(xí)方法。正如前文所述，其核心思想是在推理時(shí)，首先生成多個(gè)不同的翻譯候選結(jié)果，然后利用一個(gè)基于Hunyuan-MT-7B訓(xùn)練的融合模型，將這些候選結(jié)果的優(yōu)點(diǎn)整合起來(lái)，生成一個(gè)質(zhì)量超越任何單一候選結(jié)果的最終譯文。

這個(gè)融合模型的訓(xùn)練同樣使用強(qiáng)化學(xué)習(xí)，其獎(jiǎng)勵(lì)函數(shù)由XCOMET-XXL評(píng)分、DeepSeek-V3-0324評(píng)分和重復(fù)懲罰項(xiàng)構(gòu)成。這種方法有效地利用了集成學(xué)習(xí)的優(yōu)勢(shì)，在不增加基礎(chǔ)模型參數(shù)量的情況下，進(jìn)一步提升了翻譯的上限。

在性能表現(xiàn)上，混元MT系統(tǒng)在多個(gè)公開(kāi)評(píng)測(cè)基準(zhǔn)上進(jìn)行了測(cè)試。結(jié)果顯示，無(wú)論是在WMT24pp還是FLORES-200等通用翻譯測(cè)試集上，7B參數(shù)規(guī)模的Hunyuan-MT-7B和Hunyuan-MT-Chimera-7B，其翻譯質(zhì)量均超過(guò)了現(xiàn)有的同等規(guī)模開(kāi)源模型，也優(yōu)于一些知名的商業(yè)翻譯系統(tǒng)和參數(shù)量遠(yuǎn)大于它的通用大模型。

特別是在中文與少數(shù)民族語(yǔ)言互譯這個(gè)方向上，混元MT的表現(xiàn)顯著優(yōu)于所有其他對(duì)比模型，這體現(xiàn)了其在低資源語(yǔ)言翻譯方向上的針對(duì)性優(yōu)化取得了成效。人工評(píng)測(cè)的結(jié)果也證實(shí)了這一點(diǎn)，在包含社交、郵件、購(gòu)物、導(dǎo)航等多個(gè)生活場(chǎng)景的中英互譯測(cè)試中，Hunyuan-MT-7B的翻譯質(zhì)量與Gemini-2.5-Pro、DeepSeek-V3-0324等頂尖的大型模型處于同一水平，表明通過(guò)面向翻譯任務(wù)的系統(tǒng)性優(yōu)化，中等規(guī)模的模型同樣可以達(dá)到很高的翻譯水準(zhǔn)。

歡迎在評(píng)論區(qū)留言~
如需開(kāi)白請(qǐng)加小編微信：dongfangmark