本文第一作者為中國(guó)人民大學(xué)王梓鑒，通訊作者為中國(guó)人民大學(xué)張瓊老師 (https://sarahqiong.github.io/) 。其他作者還包括中南財(cái)經(jīng)政法大學(xué)章曉菲老師以及華東師范大學(xué)劉玉坤老師。

在傳統(tǒng)聯(lián)邦學(xué)習(xí)（Federated Learning, FL）中，統(tǒng)計(jì)異質(zhì)性常被視為一種系統(tǒng)性障礙。具體而言，客戶端之間數(shù)據(jù)分布的差異性，往往導(dǎo)致訓(xùn)練統(tǒng)一的全局模型難以適配所有客戶端的需求；而個(gè)性化方法雖能提升本地性能，卻往往令系統(tǒng)陷入客戶端「各自為政」的僵局，從而喪失了整體的協(xié)同能力。對(duì)此，本文提出一種不同觀點(diǎn)：數(shù)據(jù)異質(zhì)性并非噪聲，而是信息。關(guān)鍵不在于消除它，而在于利用它。

本文提出的FedDRM將聯(lián)邦學(xué)習(xí)從傳統(tǒng)的「聚合范式」拓展到「路由范式」：服務(wù)器不再只負(fù)責(zé)模型聚合，還能對(duì)來自系統(tǒng)外部的請(qǐng)求進(jìn)行判斷，并將其路由到最合適的客戶端來處理。

• 論文地址：https://arxiv.org/abs/2509.23049v2
• 代碼地址：https://github.com/zijianwang0510/FedDRM

要點(diǎn)速覽

一句話概括，F(xiàn)edDRM 讓服務(wù)器第一次具備了「把問題交給最合適的客戶端處理」 的能力。

• 首次把聯(lián)邦學(xué)習(xí)中的客戶端路由問題建模為密度比估計(jì)問題
• 通過密度比模型（Density Ratio Model, DRM）+ 經(jīng)驗(yàn)似然（Empirical Likelihood, EL），自然地得到了一個(gè)統(tǒng)一的目標(biāo)函數(shù)，可以同時(shí)學(xué)習(xí)：模型預(yù)測(cè)能力和客戶端路由能力
• 無需額外的生成模型，只需在現(xiàn)有網(wǎng)絡(luò)上增加一個(gè)輕量分支即可實(shí)現(xiàn)系統(tǒng)級(jí)智能
• 在通用自然圖像數(shù)據(jù)集 CIFAR-10/100 與專業(yè)醫(yī)療影像數(shù)據(jù)集 RETINA 上，系統(tǒng)準(zhǔn)確率取得穩(wěn)定提升

為什么現(xiàn)有聯(lián)邦學(xué)習(xí)方法不會(huì)「客戶端路由」？

設(shè)想一個(gè)真實(shí)場(chǎng)景：不同醫(yī)院各自擅長(zhǎng)治療不同疾病。當(dāng)一位新患者出現(xiàn)時(shí)，最關(guān)鍵的問題其實(shí)并不是把所有醫(yī)院的意見匯總起來做決策，而是這位患者應(yīng)該被轉(zhuǎn)診到哪一家最合適的醫(yī)院就診。

遺憾的是，現(xiàn)有聯(lián)邦學(xué)習(xí)方法并沒有回答這個(gè)問題。主流個(gè)性化 FL（如 FedAvgFT、FedRep） 雖然訓(xùn)練出了多個(gè)客戶端本地模型，但在系統(tǒng)層面仍存在明顯不足，當(dāng)面對(duì)系統(tǒng)外部的請(qǐng)求時(shí)：

• 服務(wù)器缺乏對(duì)請(qǐng)求進(jìn)行匹配與分發(fā)的機(jī)制與依據(jù)
• 通常只能采用平均、投票或隨機(jī)選擇等粗粒度策略

換句話說，它們訓(xùn)練的是多個(gè)「好模型」，但缺少的是選擇哪個(gè)模型的能力。

把「客戶端路由」變成一個(gè)可以學(xué)習(xí)的問題

如果希望服務(wù)器真正具備客戶端路由的能力，就必須回答一個(gè)更基礎(chǔ)的問題：給定一個(gè)新樣本，它更像是來自哪個(gè)客戶端的數(shù)據(jù)？

一旦這樣表述，客戶端路由問題就自然轉(zhuǎn)化為了一個(gè)跨客戶端的樣本邊際分布估計(jì)與判別問題。

FedDRM 將每個(gè)客戶端的樣本邊際分布建模為對(duì)一個(gè)共享的基礎(chǔ)分布的指數(shù)傾斜，用少量參數(shù)刻畫客戶端之間的統(tǒng)計(jì)異質(zhì)性。

另一個(gè)關(guān)鍵挑戰(zhàn)是：一旦對(duì)基礎(chǔ)分布作出強(qiáng)參數(shù)化假設(shè)，若與真實(shí)生成過程不符，就會(huì)引入模型誤設(shè)偏差，并進(jìn)一步影響路由決策。

因此，F(xiàn)edDRM 進(jìn)一步引入了經(jīng)驗(yàn)似然方法，使得基礎(chǔ)分布不依賴具體的參數(shù)形式，而是完全由數(shù)據(jù)驅(qū)動(dòng)。

在 DRM+EL 框架下，可以證明，最大化經(jīng)驗(yàn)似然函數(shù)等價(jià)于最小化兩個(gè)交叉熵風(fēng)險(xiǎn)之和：

• 目標(biāo)分類損失：學(xué)習(xí)任務(wù)本身
• 客戶端分類損失：學(xué)習(xí)樣本來自哪個(gè)客戶端

因此，這并不是人為拼接的多任務(wù)技巧，而是統(tǒng)計(jì)建模推導(dǎo)出的必然形式。模型在訓(xùn)練中，同時(shí)獲得了兩種能力：1）對(duì)任務(wù)的判別能力；2）對(duì)數(shù)據(jù)來源的識(shí)別能力。從而在同一個(gè)模型中，自然統(tǒng)一了個(gè)性化建模與系統(tǒng)級(jí)路由決策。

如何評(píng)估一個(gè)聯(lián)邦系統(tǒng)是否具備「路由能力」？

傳統(tǒng) FL 只聚焦于客戶端本地準(zhǔn)確率，無法反映出系統(tǒng)層面的關(guān)鍵能力：當(dāng)一個(gè)來自系統(tǒng)外部的全新查詢到來時(shí)，服務(wù)器能否做出正確的分發(fā)決策，把請(qǐng)求交給最合適的客戶端處理。因此，我們引入系統(tǒng)準(zhǔn)確率（System Accuracy）：

1. 服務(wù)器先根據(jù)樣本特征預(yù)測(cè)最匹配的客戶端

2. 再由相應(yīng)的客戶端的本地模型完成預(yù)測(cè)

這更接近真實(shí)部署流程，而非理想化的已知?dú)w屬測(cè)試。

實(shí)驗(yàn)結(jié)果：系統(tǒng)與個(gè)性化的雙贏

在 CIFAR-10/100 與 RETINA 數(shù)據(jù)集上的實(shí)驗(yàn)表明：

• 系統(tǒng)級(jí)準(zhǔn)確率相比現(xiàn)有個(gè)性化 FL 方法取得一致提升
• 在真實(shí)醫(yī)療數(shù)據(jù)集 RETINA 上的提升約 1.41%–7.67%
• 訓(xùn)練過程穩(wěn)定，無需復(fù)雜的生成模型

這意味著什么？

FedDRM 改變的不只是模型性能，更是聯(lián)邦學(xué)習(xí)系統(tǒng)作為整體的服務(wù)方式。服務(wù)器不再僅僅做參數(shù)共享與模型聚合，而是能夠?qū)ν獠空?qǐng)求進(jìn)行分布推斷與路由決策，把查詢交給最合適的客戶端處理，從而使聯(lián)邦系統(tǒng)首次以一個(gè)整體的身份對(duì)外提供服務(wù)。這為許多真實(shí)場(chǎng)景提供了新的可能性：

• 醫(yī)療協(xié)作：將病例自動(dòng)匹配到最合適的醫(yī)院模型
• 金融風(fēng)控：根據(jù)用戶分布差異調(diào)用專屬風(fēng)險(xiǎn)模型
• 物聯(lián)網(wǎng)：讓邊緣節(jié)點(diǎn)成為可調(diào)度的「專家網(wǎng)絡(luò)」

聯(lián)邦學(xué)習(xí)不再只是保護(hù)隱私的訓(xùn)練框架，而開始成為一個(gè)具備結(jié)構(gòu)化決策能力的智能系統(tǒng)。我們也非常期待來自各方的討論與反饋，一起探索：當(dāng)系統(tǒng)真正「理解異質(zhì)性」之后，聯(lián)邦學(xué)習(xí)還能走多遠(yuǎn)。