在通往“萬物智能”的道路上，端側(cè)設(shè)備算力有限，而端云協(xié)同無線傳輸能耗高、代價(jià)大——這正是制約邊緣智能大規(guī)模落地的核心挑戰(zhàn)之一。針對這一難題，南京大學(xué)類腦智能科技研究中心與南京大學(xué)腦機(jī)接口研究院繆峰教授/梁世軍教授團(tuán)隊(duì)提出并驗(yàn)證了一種端云融合無線協(xié)同智能計(jì)算新范式。

在硬件層面，該系統(tǒng)將高能效模擬存算一體芯片同時(shí)用于神經(jīng)網(wǎng)絡(luò)計(jì)算與無線信號處理；在訓(xùn)練方法層面，該系統(tǒng)首次將無線通信鏈路作為可訓(xùn)練模塊，聯(lián)合端側(cè)與云側(cè)神經(jīng)網(wǎng)絡(luò)推理模塊，一同構(gòu)成了整體的無線神經(jīng)網(wǎng)絡(luò)，通過采用“通信感知訓(xùn)練”方案進(jìn)行全局優(yōu)化，在顯著提升網(wǎng)絡(luò)精度的同時(shí)，降低了無線通信模塊的功耗，提升了系統(tǒng)對通信誤碼的魯棒性，為大規(guī)模低功耗邊緣設(shè)備的智能互聯(lián)提供了新的理論視角與工程路徑。相關(guān)研究成果以“Communication-aware in-memory wireless neural networks”（通信感知的存內(nèi)無線神經(jīng)網(wǎng)絡(luò)）為題，于北京時(shí)間2026年2月25日在線發(fā)表在電子學(xué)領(lǐng)域頂級期刊《自然·電子學(xué)》上。

萬物智能時(shí)代的算力與能耗困局

隨著人工智能技術(shù)的蓬勃發(fā)展，“萬物智聯(lián)”成為了人們對未來生活的憧憬。在具身智能、腦機(jī)智能、物聯(lián)網(wǎng)等場景下，大量端側(cè)設(shè)備與人類不停進(jìn)行交互，獲取到海量的視覺、語音、生理數(shù)據(jù)，但卻受限于有限的功耗和成本，端側(cè)設(shè)備難以提供足夠算力滿足日益增長的智能計(jì)算需求。“端云協(xié)同”作為有效解決方案，讓端側(cè)與云側(cè)設(shè)備分別負(fù)責(zé)神經(jīng)網(wǎng)絡(luò)模型中部分推理計(jì)算任務(wù)，端云通過無線通信傳遞中間數(shù)據(jù)，從而以協(xié)同的方式完成整個(gè)智能任務(wù)中的推理計(jì)算（如圖1所示）。

圖1 通信感知訓(xùn)練的存內(nèi)無線神經(jīng)網(wǎng)絡(luò)概念示意圖

為實(shí)現(xiàn)端云無線協(xié)同推理，傳統(tǒng)方案長期沿用“分層解耦”設(shè)計(jì)思路，即端側(cè)設(shè)備、通信模組、云端設(shè)備分別被獨(dú)立設(shè)計(jì)并完成任務(wù)。然而，這種“自掃門前雪”的設(shè)計(jì)思路會(huì)導(dǎo)致三類“分離”問題疊加放大能耗開銷。第一，存儲(chǔ)與計(jì)算分離使端側(cè)硬件在神經(jīng)網(wǎng)絡(luò)推理中頻繁搬運(yùn)數(shù)據(jù)，能效受限于馮·諾依曼瓶頸；第二，信號處理與收發(fā)分離使無線鏈路依賴高精度模數(shù)轉(zhuǎn)換（尤其接收端模-數(shù)轉(zhuǎn)換器（ADC））與復(fù)雜的數(shù)字基帶處理，而ADC功耗隨精度提高而快速增長，基帶處理任務(wù)也隨編碼復(fù)雜度快速提升，令低功耗終端難以承受；第三，也是最容易被忽視的一點(diǎn)——神經(jīng)網(wǎng)絡(luò)與無線通信分離：神經(jīng)網(wǎng)絡(luò)依賴數(shù)據(jù)訓(xùn)練去“猜測”最有可能的結(jié)果，而通信模塊通常被要求“無差錯(cuò)”地傳輸計(jì)算數(shù)據(jù)。為保證通信的“無損性”往往需要更高的信噪比（更高精度射頻鏈路、更大發(fā)射功率）、更低碼率編碼方式與更復(fù)雜的解碼鏈路，從而把無線通信成本推到很高。

因此，面向“萬物智聯(lián)”的邊緣智能，迫切需要一種新的無線協(xié)同范式：不再把無線通信當(dāng)作與AI任務(wù)無關(guān)的外部數(shù)據(jù)交換管道，而是讓通信過程融入神經(jīng)網(wǎng)絡(luò)系統(tǒng)中，使得邊端與云端通過無線進(jìn)行協(xié)同。進(jìn)一步，通過在訓(xùn)練層面協(xié)同優(yōu)化，讓系統(tǒng)能在保證任務(wù)推理精度的前提下，以更低的發(fā)射功率、更低功耗的模數(shù)轉(zhuǎn)換與計(jì)算，支撐海量低功耗終端的智能互聯(lián)。為此，南京大學(xué)類腦智能研究團(tuán)隊(duì)從計(jì)算硬件、訓(xùn)練方法兩個(gè)維度出發(fā)，大幅度提升了端云無線協(xié)同計(jì)算的能效水平。

存內(nèi)計(jì)算芯片技術(shù)：

賦能端側(cè)高效推理和低功耗無線通信

研究團(tuán)隊(duì)基于模擬存內(nèi)計(jì)算芯片構(gòu)建了神經(jīng)網(wǎng)絡(luò)推理系統(tǒng)與無線通信系統(tǒng)（如圖2所示），分別用于端側(cè)神經(jīng)網(wǎng)絡(luò)模型的推理計(jì)算與中間計(jì)算結(jié)果的無線傳輸。模擬存內(nèi)計(jì)算技術(shù)具有高度并行計(jì)算的特點(diǎn)，能夠在單步內(nèi)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)推理中的復(fù)雜矩陣運(yùn)算；此外，模擬存內(nèi)計(jì)算陣列能夠直接在模擬域內(nèi)高效地處理無線信號，實(shí)現(xiàn)高效調(diào)制與解調(diào)（如圖3所示），模擬存算芯片提供的獨(dú)特模擬信號計(jì)算能力顯著降低了系統(tǒng)對高精度ADC的依賴。

圖2 基于SRAM模擬存內(nèi)計(jì)算芯片構(gòu)建的神經(jīng)網(wǎng)絡(luò)推理系統(tǒng)與無線通信系統(tǒng)原型

圖3 端云融合無線協(xié)同神經(jīng)網(wǎng)絡(luò)推理流程圖。a,神經(jīng)網(wǎng)絡(luò)推理系統(tǒng)用于執(zhí)行終端的推理計(jì)算，其中的SRAM模擬存算芯片負(fù)責(zé)加速矩陣運(yùn)算；b-d,無線通信系統(tǒng)用于中間計(jì)算結(jié)果的無線傳輸，其中的SRAM模擬存算芯片負(fù)責(zé)無線信號的調(diào)制與解調(diào)。接收到的中間計(jì)算結(jié)果最后在云端（GPU）完成后續(xù)推理過程。

圖4 基于模擬存內(nèi)計(jì)算芯片的無線通信原型機(jī)

圖5 a,采用4 QAM調(diào)制方案，基于無線通信系統(tǒng)傳輸共計(jì)507Mb數(shù)據(jù)，誤碼率低于1.5‰；b,在取得相同比特誤碼率的情況下，基于模擬存內(nèi)計(jì)算硬件的調(diào)制—解調(diào)制方案僅需要1比特有效位數(shù)的ADC，而傳統(tǒng)方案至少需要4比特的ADC；c,有損通信條件下，無線協(xié)同推理的準(zhǔn)確率相較于理想準(zhǔn)確率僅有微小波動(dòng)。

圖4展示了本方案下的無線通信原型系統(tǒng)。在無線接收機(jī)中，相比傳統(tǒng)的無線通信系統(tǒng)對無線信號“先量化，再處理”的架構(gòu)，基于模擬存內(nèi)計(jì)算芯片的無線通信系統(tǒng)實(shí)現(xiàn)了“先處理，再量化”的架構(gòu)，可以在提升處理能效的同時(shí)，大幅降低ADC的量化開銷。研究團(tuán)隊(duì)采用斯坦福大學(xué)的街景門牌號（SVHN）數(shù)據(jù)集，在該原型系統(tǒng)上成功演示了卷積神經(jīng)網(wǎng)絡(luò)的無線協(xié)同推理任務(wù)。網(wǎng)絡(luò)推理精度接近理想的無損傳輸系統(tǒng)的精度。相比于傳統(tǒng)方案，本研究中提出的調(diào)制-解調(diào)方案能夠極大地降低對ADC精度的需求（如圖5所示），最終降低設(shè)計(jì)與制造成本。

通信感知訓(xùn)練：

讓神經(jīng)網(wǎng)絡(luò)"理解"無線信道

在訓(xùn)練方法層面，研究團(tuán)隊(duì)提出了名為“通信感知訓(xùn)練（Communication-Aware Training，CAT）”的算法—硬件協(xié)同優(yōu)化方案，進(jìn)一步大幅減低無線通信的能量消耗和硬件成本。傳統(tǒng)方案往往假設(shè)系統(tǒng)對待傳輸數(shù)據(jù)特征及其在接收端的用途一無所知，因此按照不同需求獨(dú)立設(shè)計(jì)無線通信模塊與神經(jīng)網(wǎng)絡(luò)模塊。同時(shí)，神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中也沒有考慮實(shí)際部署時(shí)的無線通信狀況與相應(yīng)的通信成本，最后導(dǎo)致需要付出大量代價(jià)以實(shí)現(xiàn)數(shù)據(jù)的無損傳輸（誤碼率為零）。然而在無線協(xié)同推理的場景下，該假設(shè)不成立——傳輸數(shù)據(jù)是神經(jīng)網(wǎng)絡(luò)的中間計(jì)算結(jié)果，在接收端的用途為作為云端部分網(wǎng)絡(luò)的輸入。因此，我們有機(jī)會(huì)從系統(tǒng)全局出發(fā)，實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)和無線通信模塊的聯(lián)合優(yōu)化。

研究團(tuán)隊(duì)提出通信感知無線神經(jīng)網(wǎng)絡(luò)主動(dòng)放棄了無損通信（0誤碼率），轉(zhuǎn)而主動(dòng)選擇了通信成本更低、更加靈活的有損通信（誤碼率不為零）。這一選擇意味著無需付出高額成本（如加大發(fā)射功率以提高信噪比，采用低碼率信道編碼進(jìn)行糾錯(cuò)）去強(qiáng)行實(shí)現(xiàn)0誤碼率，而是充分發(fā)揮神經(jīng)網(wǎng)絡(luò)的容錯(cuò)能力，讓系統(tǒng)即使采用有噪音的傳輸鏈路依然可以正常工作?；诖怂悸?，研究團(tuán)隊(duì)提出了通信感知訓(xùn)練方法，進(jìn)一步增強(qiáng)端云無線協(xié)同計(jì)算系統(tǒng)對有損通信鏈路的容錯(cuò)能力。該方法包含兩部分主要內(nèi)容（如圖6所示）：首先，為有損通信過程建立可微數(shù)學(xué)模型，并集成在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中。具體而言，根據(jù)通信系統(tǒng)的參數(shù)（如信號發(fā)射功率，元件精度）將有損通信過程建模為概率性的比特翻轉(zhuǎn)。其次，為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練加入額外的優(yōu)化目標(biāo)——訓(xùn)練目標(biāo)同時(shí)包含任務(wù)損失與通信相關(guān)目標(biāo)，從而在訓(xùn)練時(shí)讓系統(tǒng)自動(dòng)學(xué)習(xí)“通信模塊最低用多少代價(jià)，整個(gè)系統(tǒng)即可實(shí)現(xiàn)優(yōu)秀的網(wǎng)絡(luò)推理精度”。該方法在訓(xùn)練過程中同時(shí)調(diào)整神經(jīng)網(wǎng)絡(luò)參數(shù)與通信系統(tǒng)參數(shù)，在降低通信成本的同時(shí)提高神經(jīng)網(wǎng)絡(luò)模型對于有損傳輸?shù)聂敯粜?。結(jié)果顯示，即使在較差通信質(zhì)量（低SNR）的情況下，CAT訓(xùn)練的無線神經(jīng)網(wǎng)絡(luò)系統(tǒng)也可以獲得較高識別率（如圖7所示）。

圖6 “通信感知”訓(xùn)練方法。為有損通信過程建立可微數(shù)學(xué)模型，并集成在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中，在訓(xùn)練過程中同時(shí)調(diào)整神經(jīng)網(wǎng)絡(luò)參數(shù)與通信系統(tǒng)參數(shù)，提升模型精度的同時(shí)實(shí)現(xiàn)通信成本的降低。

圖7 “通信感知”訓(xùn)練方法測試結(jié)果。在恒參信道（AWGN信道）條件下，使用通信感知訓(xùn)練（CAT）方法與使用常規(guī)訓(xùn)練方法所得模型的無線協(xié)同推理準(zhǔn)確率對比（基于SVHN數(shù)據(jù)集）。

此外，研究團(tuán)隊(duì)進(jìn)一步深入拓展CAT方法，增強(qiáng)了通信感知無線網(wǎng)絡(luò)在各種通信條件下的適用性。通過在訓(xùn)練過程中考慮多種信道條件（平坦衰落、頻率選擇性衰落）、調(diào)制方案（4、16、64-QAM）對應(yīng)的數(shù)據(jù)比特翻轉(zhuǎn)模式，使得訓(xùn)練完成的無線協(xié)同神經(jīng)網(wǎng)絡(luò)在多種不同無線通信環(huán)境和調(diào)制方式條件下部署均可取得明顯的性能提升。結(jié)果顯示（如圖8所示），該方法在多種無線信道條件和調(diào)制方式下均明顯優(yōu)于傳統(tǒng)訓(xùn)練方法。以信號發(fā)射功率為例，考慮時(shí)變平坦衰落信道，以最高識別率減10%為可接受最低識別率，使用通信感知訓(xùn)練方法時(shí)所需的接收端信號信噪比更低——相較于傳統(tǒng)方法平均降低16dB（等價(jià)于發(fā)射功率降低97.5%）。這種廣泛的適用性對于工作在移動(dòng)場景下、所處無線環(huán)境復(fù)雜多變的智能終端設(shè)備尤為重要。例如可穿戴生理信號監(jiān)測設(shè)備需要在有限功耗內(nèi)連續(xù)采集、處理和傳輸大量數(shù)據(jù)，而無線信號傳輸功耗常常成為瓶頸，利用CAT技術(shù)可以大幅度降低無線通信所需能耗，延長設(shè)備續(xù)航，增強(qiáng)傳輸能力和系統(tǒng)抗干擾能力。

圖8 a-c,不同信道條件和調(diào)制方式下的誤碼率特征分布；d-f,使用通信感知訓(xùn)練方法與使用傳統(tǒng)訓(xùn)練方法所得模型在多種無線通信條件下的推理準(zhǔn)確率對比（基于ImageNet數(shù)據(jù)集）。結(jié)果顯示，使用通信感知訓(xùn)練方法所得模型適用于多種無線信道條件、調(diào)制方案。在各種無線環(huán)境下，通信感知訓(xùn)練方法均能明顯降低通信成本。為了在時(shí)變平坦衰落信道下達(dá)到一定推理準(zhǔn)確率，使用該訓(xùn)練方法所需的接收信號信噪比相比于傳統(tǒng)訓(xùn)練方法平均降低16dB，這等價(jià)于信號發(fā)射功率可以降低約97.5%；在時(shí)變頻率選擇性衰落信道下，該訓(xùn)練方法仍能保證較高的推理準(zhǔn)確率，而常規(guī)訓(xùn)練方法所得模型無法識別率低于20%。

南京大學(xué)物理學(xué)院博士生楊再正與智能科學(xué)與技術(shù)學(xué)院助理教授王聰為該工作的共同第一作者，繆峰教授、梁世軍教授、王聰助理教授為該工作的共同通訊作者。該工作得到了國家重點(diǎn)研發(fā)計(jì)劃、國家自然科學(xué)基金、江蘇省前沿引領(lǐng)技術(shù)基礎(chǔ)研究計(jì)劃、南京大學(xué)“789科技攻關(guān)計(jì)劃”（“類腦芯片與腦機(jī)接口關(guān)鍵技術(shù)研究”）以及新基石基金會(huì)等支持。

來源：南京大學(xué)類腦智能科技研究中心

編輯：戚茗秋 馬艷蓉

責(zé)編：郭安康 王雪純