新智元報(bào)道

編輯：LRST

【新智元導(dǎo)讀】香港中文大學(xué)提出了一個(gè)全新的算法框架RankSEG，用于提升語(yǔ)義分割任務(wù)的性能。傳統(tǒng)方法在預(yù)測(cè)階段使用threshold或argmax生成掩碼，但這種方法并非最優(yōu)。RankSEG無(wú)需重新訓(xùn)練模型，僅需在推理階段增加三行代碼，即可顯著提高Dice或IoU等分割指標(biāo)。

在語(yǔ)義分割任務(wù)中，通常采用「在預(yù)測(cè)階段，通過(guò)對(duì)概率圖應(yīng)用threshold 或argmax來(lái)生成mask」的傳統(tǒng)范式。

然而，你是否思考過(guò)：這種做法真的能夠最大化Dice或IoU等主流分割評(píng)估指標(biāo)嗎？

香港中文大學(xué)的最新研究證明了這一傳統(tǒng)方法的次優(yōu)性，并提出了一種創(chuàng)新性算法框架RankSEG，無(wú)需重新訓(xùn)練模型，僅需三行代碼即可顯著提升分割性能。

系列工作包括剛被NeurIPS 2025接收的高效分割算法，以及發(fā)表于JMLR的核心理論，還開(kāi)源了配套的Python工具包，無(wú)需重訓(xùn)模型，僅通過(guò)增加三行代碼，即可有效提升分割指標(biāo)表現(xiàn)。

NeurIPS論文鏈接：https://openreview.net/forum?id=4tRMm1JJhw

JMLR論文鏈接:https://www.jmlr.org/papers/v24/22-0712.html

代碼鏈接：https://github.com/rankseg/rankseg

如果業(yè)界從業(yè)者希望最大限度地「榨干」分割模型的性能，只需閱讀第一節(jié)，即可解鎖如何將RankSEG無(wú)縫集成到現(xiàn)有流程中。

開(kāi)源軟件包

研究人員提供了一個(gè)易用的RankSEG類，初始化時(shí)可指定需要優(yōu)化的分割指標(biāo)（如 Dice、IoU 等）。隨后，只需調(diào)用predict方法并輸入概率圖，即可獲得優(yōu)化后的預(yù)測(cè)結(jié)果。

實(shí)際使用時(shí)，只需將原有的probs.argmax(dim=1)替換為rankseg.predict(probs)，即可輕松集成，無(wú)需過(guò)多改動(dòng)，簡(jiǎn)單高效。

preds = rankseg.predict(probs)

RankSEG與傳統(tǒng)argmax方法的效果對(duì)比，使用同一個(gè)訓(xùn)練好的模型，唯一的區(qū)別僅在推理階段的處理方式。圖中用紅框進(jìn)行了重點(diǎn)標(biāo)注：在第一個(gè)例子中，RankSEG 成功識(shí)別出桌子上的小瓶子；在第二個(gè)例子中，RankSEG成功分割出了被遮擋的人臉；第三個(gè)例子捕捉到更完整的腫瘤塊?？梢悦黠@看出，RankSEG在小物體識(shí)別和處理被遮擋等復(fù)雜場(chǎng)景時(shí)，分割效果相較于傳統(tǒng) argmax 有顯著提升。

Demo鏈接：https://huggingface.co/spaces/statmlben/rankseg

QuickStart：https://colab.research.google.com/drive/1c2znXP7_yt_9MrE75p-Ag82LHz-WfKq-?usp=sharing

文檔鏈接：https://rankseg.readthedocs.io/en/latest/index.html

傳統(tǒng)threshold/argmax的局限性

目前主流的分割流程，通常通過(guò)訓(xùn)練模型來(lái)估計(jì)每個(gè)像素的類別概率，隨后采用threshold或argmax方法生成最終的預(yù)測(cè)掩碼（Mask）。

這種逐像素分類（pixel-wise classification）的方法，優(yōu)化目標(biāo)是像素級(jí)的準(zhǔn)確率；但分割任務(wù)真正關(guān)心的，是整體的重合度指標(biāo)（如Dice或IoU），二者并不完全一致。

理論上，傳統(tǒng)的threshold / argmax預(yù)測(cè)方式是次優(yōu)的（suboptimal）。例如，在下面這個(gè)由兩個(gè)像素組成的簡(jiǎn)化場(chǎng)景中，即便其中一個(gè)像素的預(yù)測(cè)概率低于0.5，為了獲得最優(yōu)的Dice分?jǐn)?shù)，依然應(yīng)該將其判定為前景。簡(jiǎn)單來(lái)說(shuō)，逐像素最優(yōu)解不一定能帶來(lái)全局最優(yōu)的分割效果。

左側(cè)紅框給出了最終分割結(jié)果，右側(cè)展示了簡(jiǎn)要的計(jì)算過(guò)程。其中，表示通過(guò)threshold/argmax得到的預(yù)測(cè)結(jié)果。

可以看到，這種預(yù)測(cè)方式對(duì)應(yīng)的Dice分?jǐn)?shù)并未達(dá)到最優(yōu)；而為了獲得最優(yōu)的Dice，實(shí)際上應(yīng)當(dāng)將第二個(gè)概率低于0.5的像素也判為前景，這個(gè)例子直觀地揭示了傳統(tǒng)threshold/argmax方法在整體分割性能上的局限性。

核心理論：RankSEG

那么，如何才能獲得最優(yōu)的分割預(yù)測(cè)呢？下面的定理給出了理論上的解答，并指出了實(shí)現(xiàn)該最優(yōu)性的具體方法（這里以Dice指標(biāo)為例，類似的思路同樣適用于IoU優(yōu)化）。

這個(gè)定理可以分為以下幾個(gè)關(guān)鍵部分理解：

Dice期望的計(jì)算

已知每個(gè)像素的概率值，輸入預(yù)測(cè)的mask
，該 mask 的Dice系數(shù)的期望可以表示為：

只要遍歷所有可能的二值 mask，計(jì)算對(duì)應(yīng)的Dice期望，并取最大的那一個(gè)就能獲得最優(yōu)解。然而，所有mask的組合數(shù)為2的d次方，計(jì)算量呈指數(shù)增長(zhǎng)，直接窮舉在實(shí)際應(yīng)用中不可行。

排序性質(zhì)

定理進(jìn)一步指出，只需關(guān)注這樣一類特殊的mask：

即概率值排序后，取前大的像素預(yù)測(cè)為前景。那么只需要搜索「體積」從0到d，大大減少了計(jì)算復(fù)雜度。

這里隱含了一種排序（Ranking）性質(zhì)：如果像素j的概率大于像素j'的概率，那么把j判作前景對(duì)Dice期望的提升更大。該工作針對(duì)這一直觀結(jié)論給出了嚴(yán)格的理論證明，也由此取名RankSEG。

自適應(yīng)閾值的最優(yōu)預(yù)測(cè)規(guī)則

這里，
是遍歷不同體積，找到Dice期望最大的對(duì)應(yīng)閾值。與傳統(tǒng)的固定閾值不同，這種閾值是自適應(yīng)（adaptive）的，會(huì)根據(jù)每張圖片的概率分布動(dòng)態(tài)調(diào)整，不再局限于 0.5。

符號(hào)記號(hào)及期望公式的化簡(jiǎn)：為簡(jiǎn)化后續(xù)推導(dǎo)，我們將上述Dice期望重寫(xiě)如下：

其中是去掉第j個(gè)元素后的向量，（替換
）為剩余像素的前景體積。

由于每個(gè)像素是獨(dú)立伯努利分布，實(shí)質(zhì)上服從泊松二項(xiàng)分布（概率完全相同則退化為經(jīng)典二項(xiàng)分布）。

RankSEG定理直接以尋找Dice最優(yōu)預(yù)測(cè)為目標(biāo)，巧妙地利用排序性質(zhì)，帶來(lái)了簡(jiǎn)潔且高效的分割預(yù)測(cè)方法。不過(guò)，在定理的實(shí)際應(yīng)用過(guò)程中，仍存在兩個(gè)主要挑戰(zhàn)：

期望值計(jì)算的復(fù)雜性：對(duì)每個(gè)候選分割，Dice期望的精確計(jì)算開(kāi)銷大；

多類別分割的最優(yōu)刻畫(huà)困難：在多類別（multi-class）語(yǔ)義分割場(chǎng)景下，由于每個(gè)像素只能歸屬于一個(gè)類別（即「無(wú)重疊」約束），最優(yōu)預(yù)測(cè)的刻畫(huà)以及直接優(yōu)化全局指標(biāo)都變得更加復(fù)雜和棘手。

針對(duì)以上難點(diǎn)，研究人員引入近似化的技巧，旨在進(jìn)一步簡(jiǎn)化計(jì)算，同時(shí)提出更為實(shí)用（practical）的算法方案，以促進(jìn)RankSEG在各類實(shí)際分割任務(wù)中的高效應(yīng)用。

高效近似算法：RankSEG-RMA

RankSEG的計(jì)算復(fù)雜度較高，限制了其在高維圖片中的實(shí)際應(yīng)用，最新的算法（NeurIPS 2025）引入倒數(shù)矩近似和多類別分割。

倒數(shù)矩近似

RankSEG計(jì)算的主要瓶頸在于每個(gè)候選掩碼都需要精確計(jì)算Dice期望。

具體而言，難點(diǎn)在于求解如下關(guān)于的倒數(shù)期望項(xiàng)：
。該期望需要針對(duì)每對(duì)重新展開(kāi)d項(xiàng)求和；如果能夠找到一個(gè)近似表達(dá)式，使得該期望對(duì)不同的和j無(wú)需重復(fù)獨(dú)立計(jì)算，就可以一次性高效推斷，并在不同的評(píng)估中復(fù)用結(jié)果，從而大大降低整體計(jì)算復(fù)雜度。

首先，注意到在當(dāng)前的圖像分割任務(wù)中，像素?cái)?shù)量d通常非常大。

在這種情況下，去除單個(gè)像素j前后的和（即與）之間差異極小。因此，可以用直接近似，從而消除了對(duì)像素j的依賴。

其次，針對(duì)泊松伯努利分布，進(jìn)一步觀察到：當(dāng)d足夠大時(shí)，倒數(shù)的期望和期望的倒數(shù)非常接近。

因此，后者可以作為前者的近似值，這樣一來(lái)，期望的計(jì)算同樣擺脫了對(duì)的依賴。研究人員將這種近似稱為倒數(shù)矩近似（Reciprocal Moment Approximation, RMA）。

借助該方法，用定理2中的替換原來(lái)的，在顯著提升計(jì)算效率的同時(shí)，依然能夠保持較低的近似誤差。

這里和前綴和都可以提前一次性算好，并在后續(xù)所有的
評(píng)估中反復(fù)使用，整體計(jì)算復(fù)雜度僅為。

多類別分割

RankSEG的框架可以自然地?cái)U(kuò)展到multi-label場(chǎng)景（即單個(gè)像素允許屬于多個(gè)類別）。然而，在多類別單標(biāo)簽（multi-class）分割任務(wù)中，每個(gè)像素只能分配一個(gè)類別的「非重疊」約束，使得直接擴(kuò)展RankSEG會(huì)涉及到復(fù)雜的匹配（assignment）問(wèn)題，計(jì)算復(fù)雜度顯著提升。

為此，研究人員提出如下近似算法，兼顧了效率與精度：

1. 獨(dú)立二值分割：對(duì)每個(gè)類別獨(dú)立應(yīng)用RankSEG-RMA算法，分別獲得各自的binary mask。

2. 去除重疊：對(duì)于預(yù)測(cè)結(jié)果中重疊的區(qū)域，僅保留masks之間無(wú)重疊部分，舍棄多類別同時(shí)預(yù)測(cè)的像素。這一步可能導(dǎo)致部分像素沒(méi)有被分配給任何類別。

3. 計(jì)算提升值：對(duì)于這些未分配的像素j，計(jì)算其加入不同類別的提升值，其中c是類別，是已分配給類別c的像素集合。

4. 貪心分配：在重疊或未分配像素中，根據(jù)最大增益為每個(gè)像素j選擇類別：

這種方法雖然在最后一步引入了 argmax 機(jī)制，但與傳統(tǒng)方法相比，具備以下兩個(gè)顯著優(yōu)勢(shì)：

選擇性使用argmax：只有在重疊區(qū)域才采用argmax，而大部分像素預(yù)測(cè)仍然由RankSEG原始算法直接決定，充分發(fā)揮了RankSEG的優(yōu)勢(shì)。

Principled scores：反映的是某像素j被分給類別c后Dice期望的提升，因而比單純的概率最大化更符合分割性能的優(yōu)化目標(biāo)。

需要說(shuō)明的是，此方法實(shí)質(zhì)上是一種貪心的近似策略，因?yàn)?img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2026%2F0105%2F5c0fe3e2p00t8dfcw0003d20060001wg0060001w.png&thumbnail=660x2147483647&quality=80&type=jpg" width="216" height="68" onload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" />僅考慮每次加入單個(gè)像素時(shí)的「瞬時(shí)」效益，未全局協(xié)同優(yōu)化。

但實(shí)驗(yàn)結(jié)果顯示，在兼顧計(jì)算效率的同時(shí)，該方法能夠帶來(lái)不錯(cuò)的分割性能提升，體現(xiàn)出了合理的實(shí)用價(jià)值。

實(shí)驗(yàn)結(jié)果

研究人員在多個(gè)主流分割數(shù)據(jù)集（如PASCAL VOC, Cityscapes, LiTS, KiTS等）和多種深度學(xué)習(xí)模型上進(jìn)行了廣泛實(shí)驗(yàn)，驗(yàn)證了RankSEG系列方法的優(yōu)越性。

從表中結(jié)果可以觀察到：

1. 性能提升顯著：RankSEG系列方法相較傳統(tǒng)的argmax預(yù)測(cè)機(jī)制，在分割精度上均有顯著提升。

2. 高效近似性：RankSEG-RMA與原始的RankSEG-BA在分割性能上幾乎無(wú)損失，但推理速度提升數(shù)十倍，極大地提升了實(shí)際應(yīng)用的效率。

3. 整體開(kāi)銷較低：盡管RankSEG-RMA在推理階段相較于argmax在絕對(duì)時(shí)間上有增加，考慮模型前向（model forward）時(shí)間后，其整體計(jì)算開(kāi)銷增加有限。而原始的 RankSEG-BA，其耗時(shí)則接近于模型前向傳播時(shí)間本身，限制了實(shí)際部署。

4. 公平性對(duì)比：所有結(jié)果均基于同一個(gè)訓(xùn)練模型，RankSEG 作為模型輸出的「后處理」操作，避免了因神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中的隨機(jī)性導(dǎo)致的性能波動(dòng)，保證了對(duì)比結(jié)果的客觀性。

參考資料：

https://openreview.net/forum?id=4tRMm1JJhw

秒追ASI

?點(diǎn)贊、轉(zhuǎn)發(fā)、在看一鍵三連?

點(diǎn)亮星標(biāo)，鎖定新智元極速推送！