ICLR 2026 的 Rebuttal 結(jié)束了。當(dāng) OpenReview 上的喧囂散去，我們發(fā)現(xiàn)，作者與審稿人之間漫長(zhǎng)的拉鋸戰(zhàn)，最終往往只剩下一個(gè)核心分歧：「這個(gè)想法，以前真的沒人做過嗎？」

Novelty（創(chuàng)新性）是學(xué)術(shù)評(píng)審中被高度關(guān)注的指標(biāo)之一， 但其評(píng)估在實(shí)踐中仍高度依賴評(píng)審者的經(jīng)驗(yàn)判斷與檢索覆蓋。隨 arXiv 文獻(xiàn)數(shù)量的快速增長(zhǎng)，僅靠人工檢索與記憶來追溯相關(guān)研究工作，已難以滿足高效的評(píng)審需求。

針對(duì)這一挑戰(zhàn)，復(fù)旦大學(xué) NLP 研究團(tuán)隊(duì)與其此前孵化的學(xué)術(shù)搜索平臺(tái) WisPaper 展開合作，共同研發(fā)了 OpenNovelty——一個(gè)基于大語言模型、強(qiáng)調(diào)證據(jù)與可驗(yàn)證性的自動(dòng)化新穎性分析系統(tǒng)。

• 論文標(biāo)題：OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment
• 論文鏈接：https://arxiv.org/abs/2601.01576
• Github 鏈接：https://github.com/january-blue/OpenNovelty
• HuggingFace：https://huggingface.co/papers/2601.01576

核心設(shè)計(jì)

OpenNovelty 的根本原則很簡(jiǎn)單：任何關(guān)于「該論文創(chuàng)新性不足」的判斷，都必須附帶可追溯的真實(shí)證據(jù)，這些證據(jù)必須來自于已發(fā)表的文獻(xiàn)，并且能精確定位到原文具體段落。若系統(tǒng)未能找到相關(guān)證據(jù)，則如實(shí)說明「未發(fā)現(xiàn)支持該判斷的證據(jù)」。

與傳統(tǒng)查重僅關(guān)注文字表層重疊不同，OpenNovelty 試圖解決語義層面的重復(fù)。 系統(tǒng)會(huì)對(duì)投稿進(jìn)行結(jié)構(gòu)化抽取，將作者表述轉(zhuǎn)寫為更便于檢索與對(duì)比的學(xué)術(shù)概念短句，自動(dòng)提取出論文的一個(gè)核心任務(wù)（Core Task）和若干具體貢獻(xiàn)（Contributions）。

此外，系統(tǒng)還采用了「查詢擴(kuò)展（Query Expansion）」機(jī)制，針對(duì)提取出的每條信息，生成多個(gè)語義等價(jià)的變體，在 WisPaper 的索引庫(kù)中進(jìn)行地毯式檢索，防止單一表述帶來的檢索遺漏。

四步分析流程：

從論文提交到生成

可驗(yàn)證的新穎性評(píng)估報(bào)告

第一步：核心信息提取

系統(tǒng)從論文的標(biāo)題、摘要和引言，精準(zhǔn)地提取出兩類信息：

• 核心任務(wù)：論文擬解決的核心學(xué)術(shù)問題（例如：「基于多輪強(qiáng)化學(xué)習(xí)的 LLM 智能體長(zhǎng)周期決策訓(xùn)練」）；
• 貢獻(xiàn)聲明：作者明確宣稱的創(chuàng)新點(diǎn)，如新方法、框架、算法或理論形式化（例如：「一個(gè)支持多種強(qiáng)化學(xué)習(xí)算法的統(tǒng)一訓(xùn)練框架」）。

第二步：相關(guān)文獻(xiàn)檢索與篩選

基于提取的信息，系統(tǒng)自動(dòng)生成一組學(xué)術(shù)搜索語句（包括同義詞及變體表達(dá)，避免因措辭差異而遺漏相關(guān)文獻(xiàn)），然后利用 WisPaper 學(xué)術(shù)引擎展開地毯式搜索。

初步檢索可能召回?cái)?shù)百至上千篇潛在相關(guān)論文，隨后通過去重、時(shí)間過濾與篩除弱相關(guān)性文獻(xiàn)等步驟，最終形成約 60–80 篇用于后續(xù)分析的候選論文集合。

第三步：層次化分析與證據(jù)比對(duì)

這是系統(tǒng)的核心分析環(huán)節(jié)。系統(tǒng)會(huì)基于核心任務(wù)召回的候選論文構(gòu)建層次化 taxonomy（樹狀分類體系），以呈現(xiàn)目標(biāo)論文在相關(guān)研究脈絡(luò)中的位置。提供目標(biāo)論文在候選研究脈絡(luò)中的相對(duì)定位，供評(píng)審者快速瀏覽。

針對(duì)每條貢獻(xiàn)聲明，系統(tǒng)會(huì)在貢獻(xiàn)召回的候選論文集合中進(jìn)行逐篇對(duì)比，并嘗試給出可核驗(yàn)的對(duì)應(yīng)證據(jù)片段。比對(duì)的結(jié)果有如下三種：

• 能反駁（can_refute）：找到已發(fā)表的論文具有相似貢獻(xiàn)，必須附帶雙方論文的原文摘錄作為證據(jù)。

• 無法反駁（cannot_refute）：在當(dāng)前檢索范圍內(nèi)，未發(fā)現(xiàn)可質(zhì)疑該創(chuàng)新貢獻(xiàn)的文獻(xiàn)。
• 存疑（unclear）：信息不足，無法判斷。

關(guān)鍵在于：如果系統(tǒng)做出「能反駁」的判斷，但其提供的證據(jù)（即摘錄段落）無法在原論文中找到或匹配度過低，該判斷會(huì)自動(dòng)降級(jí)為「無法反駁」。

第四步：「新穎性調(diào)查報(bào)告」生成

系統(tǒng)整合前三階段結(jié)果，生成包含以下模塊的評(píng)估報(bào)告：

• 論文的核心任務(wù)
• 研究領(lǐng)域的分類體系
• 每條創(chuàng)新聲明的比對(duì)結(jié)果和證據(jù)
• 綜合的「新穎性評(píng)估」敘述

對(duì)于系統(tǒng)給出的關(guān)鍵判斷，報(bào)告會(huì)盡量提供可追溯的候選文獻(xiàn)與可核驗(yàn)的原文證據(jù)位置，便于評(píng)審者快速定位與人工復(fù)查。

系統(tǒng)部署與公開驗(yàn)證

截止到 1 月 16 日，團(tuán)隊(duì)已經(jīng)在系統(tǒng)上分析了 1360 篇投稿，并且把所有生成的新穎性報(bào)告公開發(fā)布在其官方網(wǎng)站。任何人都可以查閱系統(tǒng)對(duì)某篇投稿的分析結(jié)果、檢索到的相關(guān)文獻(xiàn)以及判斷依據(jù)。

團(tuán)隊(duì)計(jì)劃進(jìn)一步將分析規(guī)模擴(kuò)展至 2000+ 篇投稿，此外，還將持續(xù)優(yōu)化系統(tǒng)，計(jì)劃將其應(yīng)用于其他 AI 頂級(jí)會(huì)議，并對(duì)所收集的報(bào)告和評(píng)審證據(jù)進(jìn)行深入分析。

OpenNovelty 的影響

對(duì)審稿人而言：它是一個(gè)輔助工具而非替代。系統(tǒng)可以幫助評(píng)審者梳理文獻(xiàn)脈絡(luò)，快速掌握一篇論文在領(lǐng)域中的位置，從而將更多精力集中于更需要人類專業(yè)判斷的關(guān)鍵環(huán)節(jié)，如研究意義、方法嚴(yán)謹(jǐn)性等問題。

對(duì)論文作者而言：它可作為投稿前的自查工具。如果研究具備實(shí)質(zhì)創(chuàng)新性，系統(tǒng)可以提供相關(guān)證據(jù)；如果漏引了重要文獻(xiàn)，系統(tǒng)亦能指出問題。

對(duì)學(xué)術(shù)界而言：該系統(tǒng)提供了一種“可驗(yàn)證的新穎性評(píng)估”工程路徑——用檢索到的真實(shí)文獻(xiàn)與貢獻(xiàn)級(jí)證據(jù)對(duì)比來約束結(jié)論輸出，讓判斷能夠被追溯與復(fù)核，而不是停留在模型的無證據(jù)生成。推動(dòng) AI 成為負(fù)責(zé)人的知識(shí)引證者，而非不可靠的內(nèi)容生成器。

仍需人類判斷

團(tuán)隊(duì)在論文里也明確指出了系統(tǒng)的局限性：

• 難以理解復(fù)雜的數(shù)學(xué)公式和圖表——如果一篇論文的核心創(chuàng)新藏在一個(gè)復(fù)雜的方程式里，系統(tǒng)可能會(huì)錯(cuò)過；
• 只能搜到被索引過的論文，可能錯(cuò)過未被收錄的小眾期刊或非英語出版物；
• 「無法反駁」僅表示在「檢索范圍內(nèi)未找到」，并不等于「確實(shí)不存在」。

因此，團(tuán)隊(duì)一再?gòu)?qiáng)調(diào)：這是輔助工具，而非決策主體。最終的學(xué)術(shù)判斷，仍然要由人類審稿人完成。

結(jié)語

OpenNovelty 的出現(xiàn)帶有某種實(shí)驗(yàn)性的克制。它并非試圖取代現(xiàn)有的同行評(píng)審體系，而是作為一套第三方審計(jì)系統(tǒng)介入。在 Rebuttal 結(jié)束后的最終決策階段，它負(fù)責(zé)清洗迷霧，向 AC 展示那些被淹沒的證據(jù)，而將最終的價(jià)值判斷權(quán)留給人類。

目前，ICLR 2026 的部分論文查新報(bào)告已在 OpenNovelty 官網(wǎng)開放查閱。對(duì)于即將在明年繼續(xù)沖擊頂會(huì)的科研人員來說，這或許是一個(gè)審視自己工作的新鮮視角。