在訓練與開發(fā)單個通用大語言模型 (LLM) 之外，越來越多的研究開始關注多模型協(xié)同(model collaboration)：由不同群體、基于不同數(shù)據(jù)、以不同目的訓練的多個大語言模型，通過多樣化的協(xié)同算法與系統(tǒng)架構，形成組合式人工智能系統(tǒng)。

多個模型可以通過路由算法而因材施用，通過生成文本相互溝通協(xié)作，或是在概率分布或模型參數(shù)空間做協(xié)同運算…… 各種各樣的多模型協(xié)同研究共同揭示了一種 AI 新未來的可能：由去中心化訓練的多樣化小模型通過協(xié)同算法構建模塊化、組合式的 AI 系統(tǒng)，使得人人都能參與共建一種不為任何人單獨所有的公共人工智能系統(tǒng)。

為了支持多模型協(xié)同研究并加速這一未來愿景的實現(xiàn)，華盛頓大學 (University of Washington) 馮尚彬團隊聯(lián)合斯坦福大學、哈佛大學等研究人員提出MoCo—— 一個針對多模型協(xié)同研究的 Python 框架。MoCo 支持 26 種在不同層級實現(xiàn)多模型交互的算法，研究者可以靈活自定義數(shù)據(jù)集、模型以及硬件配置，比較不同算法，優(yōu)化自身算法，以此構建組合式人工智能系統(tǒng)。MoCo 為設計、評估與分享新的模型協(xié)同算法、組合式智能以及協(xié)同開發(fā)策略提供了重要基礎。

• 論文標題：MoCo: A One-Stop Shop for Model Collaboration Research
• 論文鏈接：https://arxiv.org/abs/2601.21257
• 代碼鏈接：https://github.com/BunsenFeng/model_collaboration

多模型協(xié)同算法

多模型協(xié)同算法按模型間信息傳遞的層級主要分為以下四大類：

• API 層級（API-level collaboration）：多個模型如同多個備選的 API，根據(jù)不同任務與需求選擇不同的模型。主要方法包括 routing、cascading、switched generation 等。
• 文本層級（Text-level collaboration）：多個模型通過生成文本的交互而協(xié)作，從而分工解決問題、優(yōu)化模型輸出。主要方法包括 debate、feedback、response aggregation、structured interaction 等。
• logit 層級（Logit-level collaboration）：多個模型的 next-token distribution 之間進行代數(shù)運算，再根據(jù)共同的 distribution 進行 decoding 以生成文本。主要方法包括 logit aggregation、contrast 等。
• 權重層級（Weight-level collaboration）：多個模型在權重空間進行信息傳遞與交互，以獲得對當前任務更有效的新模型或系統(tǒng)。主要方法包括 model merging、parameter arithemetic 等。

MoCo 框架當前支持來自四個層級的 26 種多模型協(xié)同算法，便于研究人員在統(tǒng)一標準下對多模型協(xié)同算法進行評測，并為拓展新思路、設計新方法奠定堅實基礎。

MoCo 框架

現(xiàn)有的多模型協(xié)同研究大多分散在不同的代碼庫中且各自使用不同的訓練與推理框架，這對系統(tǒng)性研究與對比多模型協(xié)同算法造成了很大的阻礙。MoCo 匯集眾多模型協(xié)同研究者的力量，將多樣的方法統(tǒng)合到一個框架與 Python package 中。

使用 MoCo 非常簡便：下載代碼庫或通過 pip install modelco 安裝 Python 包，通過 config 文件設置參與協(xié)同的模型、目標數(shù)據(jù)集、硬件配置以及各類超參數(shù)，再通過一個命令就能執(zhí)行從簡單到復雜的各式協(xié)同算法。

MoCo 自帶 25 個評估數(shù)據(jù)集，囊括問答、數(shù)學、推理、代碼、安全等應用場景，而用戶也可輕松引入自己的評估數(shù)據(jù)集，或者僅用 MoCo 生成回答而另做評估。

MoCo 中的絕大部分算法采用了極為靈活的實現(xiàn)方式，支持任何數(shù)量的任何模型通過任何數(shù)量的常見 GPU 進行執(zhí)行，從而使得小模型與少資源的研究場景也被充分支持。

MoCo 支持下的新發(fā)現(xiàn)

基于 MoCo 提供的靈活實現(xiàn)，我們擴大模型協(xié)同系統(tǒng)的規(guī)模，以期找出其 scaling laws。將模型的數(shù)量從 2 個一路擴充至 16 個，我們發(fā)現(xiàn)普遍的向上趨勢：這揭示了一種新的 AI system 的可能性，即很多小模塊自底向上組成大系統(tǒng)。

除了擴大規(guī)模之外，我們也探討在同等規(guī)模的情況下，模型多樣性的作用。我們發(fā)現(xiàn)在模型數(shù)量均為 8 的情況下，8 個多樣的 LLM 協(xié)作顯著優(yōu)于 8 個同質(zhì)的 LLM 協(xié)作，揭示了多個模型之間取長補短、互相成就的重要性。

我們還發(fā)現(xiàn)多模型協(xié)作系統(tǒng)能夠解決此前單一模型所不能解決的問題。實驗結果表明，在所有單一模型都不能解決的問題中，其協(xié)同系統(tǒng)平均能夠解決 18.5% 的問題。這也揭示了模型協(xié)作不僅僅是簡單的能力并集，而是在交互的過程中涌現(xiàn)了單一模型所不具有的能力。

歡迎您的貢獻

如果您在研究工作中探索或提出過多個大語言模型協(xié)同的算法，歡迎聯(lián)系作者團隊將您的算法加入 MoCo。我們衷心希望通過更多研究人員的參與和貢獻，將模型協(xié)同打造成一種獨特的方法論，為模塊化、組合式、去中心化以及共同開發(fā)的未來 AI 系統(tǒng)添磚加瓦。

作者介紹：馮尚彬是美國華盛頓大學 (University of Washington) 計算機系博士生，導師為 Dr. Yulia Tsvetkov。他的研究曾獲得 ACL 2023 最佳論文獎、ACL 2024 杰出論文獎、the IBM PhD Fellowship、the Jane Street Graduate Research Fellowship、百度獎學金、the NVIDIA Graduate Fellowship。本文的共同第一作者還包括德州農(nóng)工大學的白雨洋同學以及華盛頓大學的楊梓源同學。