近日，浙江大學(xué)范鶴鶴、楊易、吳飛與新加坡國立大學(xué) Mohan Kankanhalli 教授提出新型深度神經(jīng)網(wǎng)絡(luò)基礎(chǔ)操作 Translution，通過融合 Self-Attention 的自適應(yīng)建模優(yōu)勢與 Convolution 的相對位置建模能力，靈活捕獲只與數(shù)據(jù)本身內(nèi)在結(jié)構(gòu)相關(guān)的、與絕對位置無關(guān)的表征，實現(xiàn)了兩種操作的統(tǒng)一。

圖 1浙江大學(xué)、新加坡國立大學(xué)聯(lián)合提出Translution

實驗結(jié)果顯示，基于 Translution 構(gòu)建的神經(jīng)網(wǎng)絡(luò)在 ViT 和 GPT 兩大主流架構(gòu)下均獲得了性能提升，展現(xiàn)出廣闊的應(yīng)用前景。

圖 2基于Translution構(gòu)建的ViT在ImageNet數(shù)據(jù)集上取得明顯優(yōu)于Self-attention

圖 3基于Translution構(gòu)建的GPT在自然語言建模的任務(wù)上也取得了超過Self-attention

目前，基于Self-Attention 的 Transformer 憑借強大的建模能力和優(yōu)異的 Scaling Law 特性，成為深度學(xué)習的主流架構(gòu)，推動了大模型浪潮的興起。然而，隨著模型規(guī)模不斷擴張，業(yè)界發(fā)現(xiàn)單純增加網(wǎng)絡(luò)參數(shù)和訓(xùn)練數(shù)據(jù)已難以帶來性能提升，Scaling Law 的紅利似乎正逐漸觸頂。因此，探索新型神經(jīng)網(wǎng)絡(luò)，持續(xù)推動深度學(xué)習的繁榮，已成為人工智能領(lǐng)域的重要任務(wù)。

浙大提出的 Translution 正是對這一挑戰(zhàn)的有力回應(yīng)。其核心思想是將卷積操作中的“固定權(quán)重核”轉(zhuǎn)變?yōu)橛勺宰⒁饬C制動態(tài)生成的“自適應(yīng)核”。

圖 4 Self-attention和Convolution合二為一的性能怪獸Translution

然而，作為融合 Slef-attention 和 Convolution 兩種操作優(yōu)勢的“性能怪獸”，Translution 在取得性能突破的同時，也對算力——特別是 GPU 顯存——提出了 更高要求，這在一定程度上或?qū)⑦M一步加劇人工智能領(lǐng)域的“貧富差距”。

論文：Translution: Unifying Self-attention and Convolution for Adaptive and Relative Modeling

論文鏈接：https://arxiv.org/pdf/2510.10060

代碼鏈接：https://github.com/hehefan/Translution（投稿或?qū)で髨蟮溃簔hanghy@csdn.net）