來源：市場資訊

（來源：中國圖象圖形學(xué)學(xué)會CSIG）

中國圖象圖形學(xué)學(xué)會博士/碩士學(xué)位論文激勵計劃旨在推動中國圖像圖形學(xué)領(lǐng)域的科技進步，鼓勵創(chuàng)新性研究，促進青年人才成長。

為宣傳科技工作者積極進取的工作精神，分享獲獎人的科研故事，本期推文我們獨家對話2025年度CSIG博士學(xué)位論文激勵計劃提名獲得者王曜明，聽他講述科研路上的堅守與成長，以榜樣之力，赴創(chuàng)新之約。

問題一：感謝您接受CSIG專訪，請先進行一下自我介紹：

我叫王曜明，于2024年獲得上海交通大學(xué)信息與通信工程博士學(xué)位，導(dǎo)師為熊紅凱教授。目前任美團主任研究員，北斗人才計劃。研究興趣集中在多模態(tài)大模型，尤其側(cè)重于開創(chuàng)性算法設(shè)計、模型框架搭建。迄今為止，已發(fā)表人工智能頂級期刊會議論文26篇，其中以第一作者發(fā)表CCF-A論文11篇, 通訊作者發(fā)表CCF-A論文5篇。目前研究目標(biāo)是構(gòu)建生成理解統(tǒng)一的多模態(tài)模型及可交互世界模型，并致力于相關(guān)預(yù)訓(xùn)練，后訓(xùn)練的算法研究和數(shù)據(jù)治理。

問題二：在科研過程中，有沒有什么好的方法可以推薦給大家？

非常感謝您的提問。在科研這條充滿挑戰(zhàn)但也充滿樂趣的道路上，每個人都會逐漸摸索出適合自己的方法論。結(jié)合我自身的研究經(jīng)歷，我想和大家分享三個我認(rèn)為比較關(guān)鍵的方法或者說習(xí)慣，希望能給大家?guī)硪恍﹩l(fā)：

第一，要培養(yǎng)“第一性原理”的思考習(xí)慣。

科研很容易陷入“追熱點”的誤區(qū)。今天流行一個新架構(gòu)，明天流行一個新模塊，大家就很容易盲目地去加模塊、刷榜。但我認(rèn)為，更重要的方法是回歸問題本質(zhì)。當(dāng)遇到一個瓶頸時，不要急于去試錯新的Trick，而是要問自己最核心的幾個問題：這個現(xiàn)象的物理或數(shù)學(xué)本質(zhì)是什么？現(xiàn)有的基線模型到底在哪里失效了？為什么會失效？

第二，建立閉環(huán)迭代的實驗與驗證體系。

做實驗絕對不能是“碰運氣（煉丹）”，而應(yīng)該像工程師開發(fā)系統(tǒng)一樣，建立嚴(yán)密的邏輯閉環(huán)。先有假說，再做實驗： 每次跑代碼前，一定要清楚自己要驗證的Hypothesis是什么。構(gòu)建極簡的Toy Example： 在跑大規(guī)模實驗前，先用極小的數(shù)據(jù)集或極簡的參數(shù)去驗證你的核心Idea是否成立。這樣可以極大地節(jié)省時間成本。

第三，保持系統(tǒng)性文獻閱讀與批判性吸收。

現(xiàn)在的論文數(shù)量爆炸，如果漫無目的地看，很容易產(chǎn)生信息焦慮。我推薦的方法是：以問題為導(dǎo)向，進行脈絡(luò)式閱讀。

不要只看最新的頂會論文，要去挖掘這個子領(lǐng)域的“開山之作”和“綜述文章”，把這個問題的演進脈絡(luò)理清楚。同時，在讀論文時要帶著批判性的眼光：這篇論文的假設(shè)前提在我的場景下還成立嗎？它的方法有沒有掩蓋什么缺陷？它的評估指標(biāo)是否足夠公平？

當(dāng)你不再把頂會論文當(dāng)成絕對權(quán)威，而是當(dāng)成一個與作者平等對話、尋找其破綻的過程時，你的創(chuàng)新點自然就會涌現(xiàn)出來。

最后，我想補充一點非技術(shù)層面的建議，那就是保持良好的心態(tài)和韌性�？蒲兄�90%的時間可能是面對失敗的，保持規(guī)律的作息、找到排解壓力的途徑，擁有長期主義的堅持，這或許是比任何具體方法都更重要的科研法寶。

希望這些分享能對大家有所幫助！

問題三：請對您的論文進行簡要介紹：

隨著預(yù)訓(xùn)練基礎(chǔ)模型規(guī)模的急劇增長，將其適配到各類下游任務(wù)的計算與存儲成本變得日益高昂，參數(shù)高效微調(diào)（PEFT）因此成為深度學(xué)習(xí)的核心研究方向。然而，現(xiàn)有的PEFT方法（如提示工程和瓶頸適配器）往往存在預(yù)訓(xùn)練信息丟失、易受分布變化干擾以及在未見數(shù)據(jù)上泛化能力不足等缺陷。為了探究并建立一套兼具信息無損與泛化魯棒性的高效微調(diào)新準(zhǔn)則，本文以**歸一化流（Normalizing Flow）**為基礎(chǔ)范式，從單模態(tài)優(yōu)化、多模態(tài)融合及空間密集多模態(tài)三個維度展開了系統(tǒng)性研究。

在單模態(tài)優(yōu)化方面，本文揭示了現(xiàn)有適配方法因缺乏顯式Lipschitz約束而容易導(dǎo)致誤差在模型中傳播的問題。為此，提出了一種可逆歸一化流跳層適配框架，通過可逆變換保證了特征分布調(diào)整時的信息無損，并利用雅可比行列式約束Lipschitz常數(shù)。該通用框架在卷積網(wǎng)絡(luò)和Transformer等多種主干網(wǎng)絡(luò)上展現(xiàn)出極高的泛化性，在17個視覺任務(wù)上實現(xiàn)了顯著的性能躍升。

在多模態(tài)融合層面，現(xiàn)有方法大多局限于單端微調(diào)（如僅微調(diào)文本提示），難以釋放多模態(tài)大模型的全部潛力；而直接雙端微調(diào)又極易破壞預(yù)訓(xùn)練空間的模態(tài)一致性，引發(fā)嚴(yán)重的“多模態(tài)遺忘”問題。本文創(chuàng)新性地引入了額外視覺編碼器以構(gòu)建合作梯度，從而強有力地保持了模態(tài)間的耦合關(guān)系。進一步地，通過提出控制超球能量發(fā)散的理論與策略，成功摒棄了冗余編碼器，在有效抑制遺忘、提升新類泛化能力的同時，平均縮減了36%的計算時間，實現(xiàn)了真正計算友好的多模態(tài)微調(diào)。

面向空間密集多模態(tài)任務(wù)（如指代圖像分割），本文指出以往研究僅關(guān)注跨模態(tài)融合，卻忽視了各模態(tài)特征分布的底層適配與全局約束。為此，本論文設(shè)計了一種新穎的交織歸一化流網(wǎng)絡(luò)，僅需0.4M的微調(diào)參數(shù)即可同時實現(xiàn)特征適配與模態(tài)深度交織。此外，創(chuàng)新性地引入了全局跳層微調(diào)模塊，從文本中提取全局先驗對視覺特征進行有效規(guī)范。在保持骨干網(wǎng)絡(luò)凍結(jié)的前提下，該方法以不足2.5%的微調(diào)參數(shù)量，不僅大幅超越了現(xiàn)有的PEFT SOTA模型，更達到了媲美全量微調(diào)的最佳性能。

問題四：請問您在論文籌備過程中遇到最大的挑戰(zhàn)是什么？是怎樣克服的呢？

在論文籌備過程中，我遇到的最大挑戰(zhàn)并非是代碼bug或算力限制，而是“如何完成從經(jīng)驗現(xiàn)象到深層數(shù)學(xué)/物理本質(zhì)的跨越”。

比如在我做大模型微調(diào)研究時，看到大家都說“多模態(tài)災(zāi)難性遺忘”很難解決，我沒有急著去設(shè)計更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，而是退回到梯度和特征分布的最基礎(chǔ)層面去分析。結(jié)果發(fā)現(xiàn)，只要從梯度問題和超球能量這兩個理論節(jié)點入手，反而能用極簡的方法（比如加性低秩變換）解決看似復(fù)雜的問題。所以，把復(fù)雜現(xiàn)象拆解為最基本的理論要素，往往能找到最優(yōu)雅、最通用的解法。

問題五：請問您有什么獲獎感言呢？

今天能夠站在這里領(lǐng)取這份榮譽，我的內(nèi)心充滿了喜悅，但更多的是深深的感激。這份獎項雖然握在我的手中，但它背后凝聚的，是我導(dǎo)師熊紅凱教授無盡的心血與栽培。

在此，我要向熊老師表達最誠摯的謝意。感謝您在學(xué)術(shù)上給予我高瞻遠(yuǎn)矚的指引。是您用敏銳的洞察力，幫我撥開研究初期的迷霧，讓我學(xué)會如何用“第一性原理”去思考問題，如何從紛繁復(fù)雜的數(shù)據(jù)中洞見事物的本質(zhì)。您嚴(yán)謹(jǐn)治學(xué)的態(tài)度和對學(xué)術(shù)極致的追求，是我科研道路上最明亮的燈塔。

同時，我也要感謝您在科研低谷時給予我的包容與鼓勵。科研的道路上往往伴隨著一次次的失敗與迷茫，是您幫我重塑信心，讓我擁有了直面困難的底氣和韌性。您不僅教授了我做學(xué)問的方法，更傳授了我做人做事的道理。

“飲水思源”，這份榮譽是對我過去努力的肯定，更是對我未來前行的鞭策。我會將這份感恩化作繼續(xù)攀登科研高峰的動力，努力做出更有價值的研究成果，絕不辜負(fù)您的悉心教導(dǎo)與殷切期望。謝謝您！