多語言大模型（MLLM）在面對(duì)多語言任務(wù)時(shí)，往往面臨一個(gè)選擇難題：是用原來的語言直接回答，還是翻譯成高資源語言去推理？

實(shí)際上，不同的語言在模型內(nèi)部承載著不同的「特長(zhǎng)」。比如英語可能邏輯性強(qiáng)，適合科學(xué)推理；而中文或印尼語在處理特定文化背景或押韻任務(wù)時(shí)，可能比英語更具優(yōu)勢(shì)。

如何讓模型在面對(duì)不同任務(wù)時(shí)，自動(dòng)選擇一條「最順手」的推理路徑？來自新加坡科技研究局（A*STAR）Nancy F. Chen 和 Ai Ti Aw 帶領(lǐng)的研究團(tuán)隊(duì)，攜手新加坡科技設(shè)計(jì)大學(xué)（SUTD）Roy Ka-Wei Lee 教授團(tuán)隊(duì)共同推出了AdaMCoT（Adaptive Multilingual Chain-of-Thought）框架。AdaMCoT 的核心在于把 「用哪種語言思考」本身當(dāng)成一個(gè)可優(yōu)化的決策變量：通過自適應(yīng)地在多種語言間路由并組合鏈?zhǔn)剿伎?，再將推理結(jié)果映射回目標(biāo)語言，從而顯著提升跨語言的事實(shí)推理準(zhǔn)確性與一致性。該工作已被 AAAI 2026 主軌道接收為 Oral 論文。

• 論文標(biāo)題： AdaMCoT: Rethinking Cross-Lingual Factual Reasoning through Adaptive Multilingual Chain-of-Thought
• 論文鏈接： https://arxiv.org/abs/2501.16154
• 作者單位： 新加坡 A*STAR Institute for Infocomm Research（I2R）、新加坡科技設(shè)計(jì)大學(xué)（SUTD）

研究背景與痛點(diǎn)

現(xiàn)有的跨語言推理方法通常存在「路徑依賴」：要么不做處理直接推理，容易導(dǎo)致低資源語言的幻覺；要么強(qiáng)制全部轉(zhuǎn)換成英語推理，這在處理需要保留原語言文化韻味或特定語義的任務(wù)（如寫詩、雙關(guān)語）時(shí)，往往會(huì)弄巧成拙。

核心問題在于：沒有一種單一的語言適合所有的任務(wù)。

為了解決這一問題，研究團(tuán)隊(duì)提出了AdaMCoT框架。與其強(qiáng)制模型「說英語」，不如賦予模型一種自適應(yīng)的元認(rèn)知能力。AdaMCoT 能夠根據(jù)輸入問題的特性（是邏輯題、文化題還是常識(shí)題），動(dòng)態(tài)地從候選語言池（Thinking Languages）中「路由」出一條最佳的思維路徑。

方法與創(chuàng)新：讓模型「換種語言思考」

AdaMCoT 并不是「先翻譯再回答」，而是引入了一個(gè)自適應(yīng)路由機(jī)制（Adaptive Routing）：模型會(huì)根據(jù)問題特性，選擇是直接用目標(biāo)語言推理，還是先在英語、中文等「思考語言」中展開鏈?zhǔn)剿伎?，再回到目?biāo)語言給出答案。

1. 雙路徑推理機(jī)制

AdaMCoT 設(shè)計(jì)了兩條主要的推理路徑：

• 跨語言思維鏈（Cross-Lingual CoT）：對(duì)于與提示語言不適配的任務(wù)，模型將綜合考慮主題一致性、語言知識(shí)豐富程度等因素，選取一個(gè)合適的 “思考語言”。例如面對(duì)使用馬來文提問的數(shù)學(xué)題，模型可以選擇英文或者中文作為思考語言，利用這些語言豐富的邏輯和知識(shí)儲(chǔ)備完成推理步驟，最后將結(jié)果整合回目標(biāo)語言。
• 直接生成（Direct Generation）：對(duì)于模型本身擅長(zhǎng)的語言或特定任務(wù)（如寫詩、押韻），直接在源語言上進(jìn)行分析且生成答案，避免跨語言帶來的語義損耗。

2. 基于獎(jiǎng)勵(lì)的自適應(yīng)路由

為了讓模型「知道」何時(shí)該用哪種語言思考，研究團(tuán)隊(duì)引入了一個(gè)基于獎(jiǎng)勵(lì)的微調(diào)機(jī)制。利用 GPT-4o 作為獎(jiǎng)勵(lì)模型（Reward Model），從事實(shí)正確性、連貫性和指令遵循度等維度對(duì)不同推理路徑生成的答案進(jìn)行打分。

在訓(xùn)練階段，模型只學(xué)習(xí)那些得高分（分?jǐn)?shù) ≥ 9）的推理路徑。這種「優(yōu)勝劣汰」的機(jī)制使得 AdaMCoT 能夠根據(jù)問題類型自動(dòng)切換策略。例如，處理科學(xué)問題時(shí)可能傾向于用英語思考，而處理具有文化特色的問題時(shí)則可能保留原語言。

實(shí)驗(yàn)結(jié)果：全面超越傳統(tǒng)方法

研究團(tuán)隊(duì)在mTruthfulQA、CrossAlpaca-Eval 2.0、Cross-MMLU 和 Cross-LogiQA等多個(gè)多語言基準(zhǔn)上評(píng)估了 AdaMCoT，涵蓋了 LLaMA 3.1 和 Qwen 2.5 等主流開源模型。

1. 事實(shí)推理能力顯著提升

在 mTruthfulQA 數(shù)據(jù)集上，LLaMA3.1-8B-AdaMCoT 在 32 種語言中的 31 種上都取得了性能提升。

• 對(duì)于中文，準(zhǔn)確率相對(duì)原模型提升9.0%；
• 對(duì)于低資源語言如印度尼西亞語，相對(duì)提升高達(dá)12.7%；
• 在匈牙利語、葡萄牙語和孟加拉語等語言上，更是實(shí)現(xiàn)了超過10%的絕對(duì)提升。

相比之下，傳統(tǒng)的 Prompt 工程方法（如 AutoCAP）和翻譯對(duì)齊方法在低資源語言上往往表現(xiàn)不佳，甚至出現(xiàn)倒退。

2. 跨語言一致性增強(qiáng)

實(shí)驗(yàn)表明，AdaMCoT 不僅提高了回答的準(zhǔn)確率，還顯著增強(qiáng)了跨語言的一致性。這意味著無論用戶用哪種語言提問，模型都能調(diào)用其內(nèi)部最一致的知識(shí)庫來回答，減少了「見人說人話，見鬼說鬼話」的幻覺現(xiàn)象 。

在 mTruthfulQA 數(shù)據(jù)集上的推理路徑選擇分布。大部分情況下，模型優(yōu)先選擇高資源語言（尤其是英語和中文）作為中間推理語種，從而顯著降低錯(cuò)誤率；其他語種約占 10%，主要用于提升特殊類別問題的回答準(zhǔn)確性。

深度解讀：為什么「換語言思考」有效？

為了揭示 AdaMCoT 的生效機(jī)理，研究團(tuán)隊(duì)利用Logit Lens和UMAP技術(shù)對(duì)模型的內(nèi)部狀態(tài)進(jìn)行了可視化分析。

1. Logit Lens：透視模型的思考過程

通過 Logit Lens 分析發(fā)現(xiàn)，當(dāng)模型直接用低資源語言回答復(fù)雜問題時(shí)，中間層的預(yù)測(cè)往往充滿噪聲和幻覺。而當(dāng) AdaMCoT 引導(dǎo)模型先用英語「思考」時(shí)，模型在早期層級(jí)就能鎖定正確的事實(shí)路徑，最終生成的答案更加自信且準(zhǔn)確。

2. UMAP：語義空間的對(duì)齊

UMAP 可視化顯示，AdaMCoT 成功拉近了不同語言在語義空間中的距離。經(jīng)過微調(diào)后，非英語語言的嵌入向量（Embeddings）顯著向英語中心靠攏。同時(shí)并沒有破壞原有的語義結(jié)構(gòu)，而是在保持整體分布的前提下，讓多語言在同一空間中更加對(duì)齊。 這表明 AdaMCoT 促進(jìn)了多語言知識(shí)在語義層面的深層融合，而非簡(jiǎn)單的表面翻譯。

總結(jié)

AdaMCoT 提出了一種全新的多語言推理范式：不改變模型參數(shù)規(guī)模，不依賴海量多語言預(yù)訓(xùn)練數(shù)據(jù)，僅通過「學(xué)會(huì)如何選擇思考語言」，就能顯著釋放大模型的跨語言潛能。

這項(xiàng)工作不僅為提升低資源語言的 AI 性能提供了低成本的高效方案，也為理解大模型的跨語言對(duì)齊機(jī)制提供了新的視角。隨著 AI 全球化的推進(jìn)，AdaMCoT 有望成為打破語言隔閡、實(shí)現(xiàn)「AI 普惠」的關(guān)鍵技術(shù)之一。