在現(xiàn)代深度學(xué)習(xí)領(lǐng)域，模型能夠在高精度和可解釋性之間取得平衡，在實(shí)際場景部署時(shí)至關(guān)重要，尤其是在醫(yī)療、金融等高風(fēng)險(xiǎn)領(lǐng)域應(yīng)用中。盡管傳統(tǒng)深度學(xué)習(xí)模型能夠提供極高的準(zhǔn)確性，但由于其“黑箱”特性使得模型的決策過程不透明，最終得到的預(yù)測結(jié)果難以理解。本文介紹一篇來自慕尼黑工業(yè)大學(xué)醫(yī)學(xué)成像人工智能實(shí)驗(yàn)室的最新工作SIC，SIC已被計(jì)算機(jī)視覺頂級會議ICCV 2025錄用。本文提出一種基于相似性的解釋方法SIC，通過提供其決策過程的局部和全局解釋來提高模型的綜合能力和可信度。實(shí)驗(yàn)結(jié)果表明，SIC不僅實(shí)現(xiàn)了與最先進(jìn)的黑盒模型和固有可解釋模型相當(dāng)?shù)臏?zhǔn)確率，還可以同時(shí)提供可視化的解釋結(jié)果，使得預(yù)測結(jié)果更易于理解。

論文題目： SIC: Similarity-Based Interpretable Image Classification with Neural Networks 文章鏈接: https://arxiv.org/abs/2501.17328v2 代碼倉庫： https://github.com/ai-med/SIC

近年來，深度學(xué)習(xí)在高風(fēng)險(xiǎn)領(lǐng)域的應(yīng)用逐漸增多，但由于模型的“黑箱”特性，決策過程往往缺乏透明度，這使得模型在出現(xiàn)錯(cuò)誤時(shí)難以追蹤和糾正。為了解決這個(gè)問題，可解釋人工智能（explainable AI，XAI）方法應(yīng)運(yùn)而生。

現(xiàn)有的可解釋方法通常提供兩種類型的解釋：局部解釋和全局解釋，并且可以評估其信賴度，以驗(yàn)證這些解釋是否忠實(shí)于模型。

• 局部解釋（Local Explanation）：模型能夠針對單個(gè)樣本提供的具體預(yù)測決策的解釋，揭示模型如何做出特定決策；

• 全局解釋（Global Explanation）：模型能夠提供關(guān)于整個(gè)模型行為的解釋，描述每個(gè)特征如何影響所有實(shí)例的預(yù)測。

• 信賴度（Faithful）：表示解釋是否能夠滿足一些已知的可解釋性準(zhǔn)則，例如完整性、敏感性、線性等。

下表對比了本文提出的SIC方法與其他可解釋性模型在不同解釋維度上的表現(xiàn)。

從上表中可以看出，本文SIC方法在所有三個(gè)方面（局部解釋、全局解釋和信賴度）都能夠提供很好的支持，這使得它相比其他方法具有更強(qiáng)的可解釋性和透明度。

二、方法

SIC模型的核心思想是通過基于相似性的分類機(jī)制，結(jié)合B-Cos變換生成可解釋性強(qiáng)的局部和全局解釋。首先，輸入圖像通過特征提取器生成潛在特征向量，然后計(jì)算該特征向量與訓(xùn)練集中支持向量之間的相似度，從而得到各類別的預(yù)測分?jǐn)?shù)。上圖展示了SIC模型的工作流程。

接著，利用B-Cos變換簡化前向傳播過程，生成一個(gè)統(tǒng)一的權(quán)重矩陣，用于計(jì)算每個(gè)輸入特征對最終決策的貢獻(xiàn)，進(jìn)而提供清晰的決策過程解釋。

2.1 基于相似性的分類機(jī)制

與傳統(tǒng)的分類方法不同，SIC依賴于從訓(xùn)練集中提取的類代表性支持向量來進(jìn)行分類。支持向量 是從每個(gè)類別的訓(xùn)練樣本中選擇的，它們代表了該類別的典型特征。具體的支持向量提取過程如下:

1. 支持向量提取：在訓(xùn)練過程中，對于每個(gè)類別 ，SIC隨機(jī)選 個(gè)支持向量。每個(gè)支持向量 是通過特征提取器 從訓(xùn)練圖像中提取的特征向量，公式為:

其中， 是屬于類別 的訓(xùn)練圖像， 表示該圖像的標(biāo)簽。

2. 支持向量聚類：SIC通過對每個(gè)類別的特征向量進(jìn)行聚類來進(jìn)一步提取具有代表性的支持向量。具體而言，SIC使用k-means算法對每個(gè)類別的特征向量進(jìn)行聚類，選取聚類中心作為最終的支持向量。

3. 分類：一旦支持向量被選取并聚類，SIC就會計(jì)算輸入圖像特征向量與支持向量之間的相似度。分類決策通過計(jì)算相似性得分，并將其加權(quán)求和，生成類別logits ，然后通過Softmax函數(shù)將logit轉(zhuǎn)化為最終的類別概率。

2.2 B-Cos變換

B-Cos變換是SIC方法中的一個(gè)關(guān)鍵技術(shù)，主要目的是通過強(qiáng)制輸入特征和權(quán)重之間對齊，簡化神經(jīng)網(wǎng)絡(luò)的計(jì)算過程，從而使得模型的決策更加透明和可解釋。對于輸入特征向量 和網(wǎng)絡(luò)中的權(quán)重向量 ，B-Cos變換的數(shù)學(xué)公式如下：

其中， 是歸一化后的權(quán)重， 是輸入特征與權(quán)重的余弦相似度，sgn是符號函數(shù)。在該公式中，參數(shù) 來控制該相似度的放大或縮小，從而生成一個(gè)更符合解釋性的線性變換。符號函數(shù) 根據(jù)余弦相似度的符號（正負(fù)）來決定特征的方向性。這個(gè)步驟確保了輸入特征和權(quán)重之間的方向一致性。

在神經(jīng)網(wǎng)絡(luò)的每一層，B-Cos變換通過對權(quán)重和輸入的對齊，使得模型的解釋變得更加直觀。具體來說，這個(gè)變換為每個(gè)輸入特征提供了一個(gè)貢獻(xiàn)度，并且這些貢獻(xiàn)度可以通過余弦相似度來追溯到輸入特征和權(quán)重之間的關(guān)系。每一層通過以下矩陣形式來計(jì)算：

其中， 代表網(wǎng)絡(luò)輸出，經(jīng)過每一層的變換矩陣 處理輸入數(shù)據(jù) ，其中每一層的變換依賴于該層的輸入。通過層與層之間的矩陣乘積，最終生成網(wǎng)絡(luò)的輸出 。該過程可以通過綜合的變換矩陣 表示，簡化為一個(gè)輸入特征與權(quán)重之間的線性關(guān)系，增強(qiáng)了神經(jīng)網(wǎng)絡(luò)的可解釋性。

三、實(shí)驗(yàn)

本文在三個(gè)任務(wù)上進(jìn)行了評估驗(yàn)證，分別是Pascal VOC的多標(biāo)簽圖像分類、Stanford Dogs的細(xì)粒度圖像分類和RSNA數(shù)據(jù)集的病理預(yù)測任務(wù)。由于醫(yī)學(xué)影像通常包含復(fù)雜的病變特征，并且這些特征可能在不同的病例中表現(xiàn)出很大的差異，因此，RSNA數(shù)據(jù)集的病理預(yù)測具有一定的挑戰(zhàn)性。此外，本文還使用了FunnyBirds框架對SIC的解釋性進(jìn)行評估。

3.1 定量實(shí)驗(yàn)

下表展示了本文SIC模型和其他不同模型在Pascal VOC、Stanford Dogs和RSNA數(shù)據(jù)集上對比的結(jié)果。

在Pascal VOC數(shù)據(jù)集上，SIC在ResNet50架構(gòu)上取得了97.00%的準(zhǔn)確率，優(yōu)于B-Cos[1]和ProtoPNet[2]。盡管SIC在Stanford Dogs數(shù)據(jù)集上的表現(xiàn)稍有下降，但在Pascal VOC和RSNA上的表現(xiàn)證明了它在提供高準(zhǔn)確度方面的優(yōu)勢，尤其在醫(yī)學(xué)影像分析PSNR中。

3.2 定性實(shí)驗(yàn)

下圖展示了 SIC 模型在處理不同類別時(shí)如何根據(jù)支持樣本和貢獻(xiàn)圖來解釋其決策過程。

第一個(gè)例子展示了模型正確分類圖像中貓的例子。藍(lán)色的支持證據(jù)條表明模型的預(yù)測是正確的。并且模型是依賴于三個(gè)支持樣本（Support Samples 21, 22, 23）中的貓眼睛特征來進(jìn)行決策。貢獻(xiàn)圖也顯示出模型在預(yù)測時(shí)主要關(guān)注了貓眼睛的位置。這既體現(xiàn)了模型如何通過支持樣本和貢獻(xiàn)圖提供局部解釋，又展示了如何通過支持樣本的依賴來進(jìn)行全局解釋。但在某些情況下，模型可能會受到輸入圖像中某些特征的干擾，導(dǎo)致錯(cuò)誤預(yù)測，如第三個(gè)例子中誤識花為盆栽植物?？傊?，SIC 模型不僅能提供高準(zhǔn)確度的分類，還能為其決策過程提供透明的可解釋性，幫助分析和理解其行為。

3.3 可解釋性評估

此外，為了驗(yàn)證 SIC 模型的可解釋性，本文還在FunnyBirds框架下進(jìn)行了驗(yàn)證，實(shí)驗(yàn)結(jié)果如下圖所示。其中，A表示準(zhǔn)確率，BI表示背景獨(dú)立性，Com.表示完整性，是CSDC、PC、DC和D的平均值，Cor.表示正確性，Con.表示對比性。

如上圖所示，雖然SIC其在某些指標(biāo)上與ProtoPNet和B-Cos相當(dāng)，但其在準(zhǔn)確性、背景獨(dú)立性、正確性和對比性等方面的綜合表現(xiàn)更為優(yōu)異，證明了其在多任務(wù)中的優(yōu)勢。尤其是在處理背景噪聲和提供高質(zhì)量可解釋性方面，SIC顯示出了強(qiáng)大的優(yōu)勢和魯棒性。

四、總結(jié)

本文介紹了一種新穎的可解釋圖像分類方法SIC，該方法通過基于相似性的分類機(jī)制和B-Cos變換，在確保高精度的同時(shí)顯著提高了模型的可解釋性。SIC通過支持向量學(xué)習(xí)和相似性計(jì)算，提供透明的決策過程和詳細(xì)的局部與全局解釋，解決了傳統(tǒng)深度學(xué)習(xí)中的“黑箱”問題。實(shí)驗(yàn)結(jié)果表明，SIC在多個(gè)數(shù)據(jù)集上表現(xiàn)出色，尤其在醫(yī)學(xué)影像等高風(fēng)險(xiǎn)領(lǐng)域，展現(xiàn)了優(yōu)異的可解釋性和準(zhǔn)確性，提出了新的深度學(xué)習(xí)模型透明性和可操作性的方法。

參考

[1] Moritz Bohle, Mario Fritz, and Bernt Schiele. B-cos networks: Alignment is all we need for interpretability. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR), pages10329–10338, 2022.

[2] Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, and Jonathan K Su. This looks like that: deep learning for interpretable image recognition. Advances in neural information processing systems, 32, 2019.

llustration From IconScout By IconScout Store

-The End-

本周上新！

掃碼觀看！

“AI技術(shù)流”原創(chuàng)投稿計(jì)劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動(dòng)，不定期舉辦技術(shù)人線下聚會交流活動(dòng)。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會選擇部分在深度技術(shù)解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎(jiǎng)勵(lì)

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動(dòng)企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

將門成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價(jià)值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈