長(zhǎng)期以來，盡管基于深度學(xué)習(xí)的自動(dòng)睡眠分期模型已經(jīng)達(dá)到了人類專家級(jí)別的準(zhǔn)確率，但它們作為“黑盒”運(yùn)行，缺乏可解釋性，嚴(yán)重阻礙了其在臨床的落地應(yīng)用 。近日，浙江大學(xué)科研團(tuán)隊(duì)提出了一項(xiàng)突破性成果——SleepVLM。這是首個(gè)應(yīng)用于可解釋睡眠分期的視覺語(yǔ)言模型（VLM）。該模型不僅能從多通道多導(dǎo)睡眠圖（PSG）波形圖像中準(zhǔn)確進(jìn)行睡眠分期，還能基于美國(guó)睡眠醫(yī)學(xué)會(huì)（AASM）評(píng)分標(biāo)準(zhǔn)，自動(dòng)生成臨床醫(yī)生可讀的自然語(yǔ)言推理過程。目前，該研究已在arXiv發(fā)布預(yù)印本，同時(shí)開源了全球首個(gè)專家標(biāo)注腦電睡眠分期推理數(shù)據(jù)集 MASS-EX。

01 研究背景介紹

睡眠障礙是全球性的重大公共衛(wèi)生挑戰(zhàn)，僅阻塞性睡眠呼吸暫停就在全球影響近十億成年人 。多導(dǎo)睡眠圖（PSG）是診斷睡眠障礙的臨床金標(biāo)準(zhǔn) 。在目前的臨床實(shí)踐中，經(jīng)過培訓(xùn)的睡眠技師需要通過肉眼觀察多通道PSG記錄，并依據(jù)AASM評(píng)分手冊(cè)中的規(guī)則對(duì)睡眠階段進(jìn)行分類 。

過去十年中，深度學(xué)習(xí)在自動(dòng)睡眠分期方面取得了巨大進(jìn)展，性能已逼近甚至達(dá)到人類專家水平 。然而，這些模型本質(zhì)上是黑盒分類器，只能輸出預(yù)測(cè)標(biāo)簽，而無法解釋決策過程 。雖然現(xiàn)有的一些可解釋AI（XAI）方法（如熱力圖、注意力可視化等）能指出模型關(guān)注了哪些輸入?yún)^(qū)域，但它們無法用臨床語(yǔ)言解釋“為什么” 。臨床醫(yī)生需要的不是抽象的模型特征，而是基于與他們?nèi)粘Ｔ\斷相同的醫(yī)學(xué)詞匯和規(guī)則系統(tǒng)（AASM）的“臨床合理性”解釋 。

02 論文概要

針對(duì)這一痛點(diǎn)，浙江大學(xué)團(tuán)隊(duì)提出了 SleepVLM。這是一種規(guī)則驅(qū)動(dòng)的視覺語(yǔ)言模型框架，巧妙地將自動(dòng)分類與臨床解釋結(jié)合在單次前向傳播中 。

模擬臨床技師的工作流：

■ 波形圖像渲染：將多通道PSG信號(hào)（如 EEG, EOG, EMG）轉(zhuǎn)換為標(biāo)準(zhǔn)化的多通道波形圖像，使模型像人類專家一樣“觀察”波形形態(tài) 。

兩階段訓(xùn)練管道：

實(shí)驗(yàn)不僅解決了穩(wěn)定性問題，還保持了極高的采樣精度。

■ 階段一：波形感知預(yù)訓(xùn)練（WPT）。訓(xùn)練模型預(yù)測(cè)每秒的頻帶功率和振幅特征，強(qiáng)化其對(duì)腦電波形的視覺感知能力 。

■ 階段二：規(guī)則驅(qū)動(dòng)的監(jiān)督微調(diào)（SFT）。向模型輸入連續(xù)三個(gè)epoch的圖像（提供上下文），并在系統(tǒng)提示中注入結(jié)構(gòu)化的AASM評(píng)分規(guī)則，要求模型不僅輸出睡眠階段，還要引用具體的AASM規(guī)則并寫出完整的推理邏輯 。

SleepVLM 框架概覽

左側(cè)為信號(hào)處理與波形渲染；中間為兩階段訓(xùn)練管道；右側(cè)展示了同時(shí)輸出標(biāo)簽、規(guī)則與自然語(yǔ)言推理的過程。

03 研究結(jié)果分析

研究團(tuán)隊(duì)在一個(gè)保留測(cè)試集（MASS-SS1, n=53）和一個(gè)外部臨床測(cè)試集（ZUAMHCS, n=100）上，對(duì)SleepVLM進(jìn)行了分類性能與推理質(zhì)量的雙維度評(píng)估 。

■媲美SOTA的分類性能

在MASS-SS1測(cè)試集上，SleepVLM取得了Cohen's kappa為0.767的優(yōu)異成績(jī)；在更具挑戰(zhàn)性的外部臨床數(shù)據(jù)集ZUAMHCS上，kappa值依然保持在0.743。與現(xiàn)有的12種基于信號(hào)的方法和2種基于圖像的方法相比，SleepVLM性能處于第一梯隊(duì)，并且展現(xiàn)出卓越的跨域魯棒性（跨域 kappa 僅下降 2.4 個(gè)百分點(diǎn)） 。最關(guān)鍵的是，它是唯一一個(gè)在保持高準(zhǔn)確率的同時(shí)提供詳細(xì)醫(yī)學(xué)解釋的模型 。

■ 臨床專家認(rèn)可的高質(zhì)量推理

除了準(zhǔn)確率，由專業(yè)睡眠技師對(duì)模型生成的推理文本進(jìn)行了嚴(yán)格的盲評(píng)打分（滿分 5.0） 。在事實(shí)準(zhǔn)確性（Factual Accuracy）、證據(jù)全面性（Evidence Comprehensiveness）和邏輯連貫性（Logical Coherence）三個(gè)維度上，SleepVLM 在兩個(gè)數(shù)據(jù)集上的平均得分均超過了 4.0 分（“良好”水平） 。模型能夠精準(zhǔn)識(shí)別Alpha節(jié)律、K復(fù)合波、睡眠紡錘波等特征，并使用排他性邏輯進(jìn)行辯證推理 。

SleepVLM 輸出示例

模型不僅給出了準(zhǔn)確的分期結(jié)果，還引用了特定的AASM規(guī)則（如W.1, N2.1等），并詳細(xì)描述了各通道中觀察到的生理特征及排他性推導(dǎo)過程。

■ 輕量化與易部署特性

為了滿足臨床環(huán)境的部署需求，團(tuán)隊(duì)?wèi)?yīng)用了W4A16量化技術(shù)。量化后的模型大小縮減了54.9%（僅3.2GB），推理速度提升了2.2倍，而kappa值的損失不超過1.6個(gè)百分點(diǎn) 。這使得SleepVLM完全可以部署在單張消費(fèi)級(jí) GPU（如 RTX 4090）上，極大地降低了臨床應(yīng)用門檻 。

04 結(jié)論與啟發(fā)展望

SleepVLM打破了長(zhǎng)期以來自動(dòng)睡眠分期領(lǐng)域的“準(zhǔn)確率vs.可解釋性”困境，確立了一個(gè)全新的范式：將自動(dòng)睡眠分期從“僅輸出標(biāo)簽”的預(yù)測(cè)推向“受規(guī)則約束、可審計(jì)的臨床推理” 。這為未來建立值得信賴的人機(jī)協(xié)作（Human-AI Collaboration）睡眠醫(yī)學(xué)輔助系統(tǒng)奠定了堅(jiān)實(shí)的基礎(chǔ) 。

為了進(jìn)一步推動(dòng)可解釋睡眠醫(yī)學(xué)的研究，研究團(tuán)隊(duì)開源了MASS-EX數(shù)據(jù)集。該數(shù)據(jù)集包含了62名受試者的59317個(gè)epoch，提供了基于AASM規(guī)則的詳細(xì)專家標(biāo)注和推理文本，填補(bǔ)了該領(lǐng)域高質(zhì)量解釋性基準(zhǔn)數(shù)據(jù)集的空白 。

來源 | Guifeng Deng, Pan Wang, Jiquan Wang, Shuying Rao, Junyi Xie, Wanjun Guo, Tao Li, Haiteng Jiang. SleepVLM: Explainable and Rule-Grounded Sleep Staging via a Vision-Language Model. 腦機(jī)接口社區(qū)

浙大科技園啟真腦機(jī)智能產(chǎn)業(yè)化基地是在浙大控股集團(tuán)領(lǐng)導(dǎo)下，由浙江大學(xué)科技園發(fā)展有限公司與杭州未來科技城管委會(huì)共建，圍繞腦機(jī)智能產(chǎn)業(yè)主體，輻射腦機(jī)+生命健康、腦機(jī)+智能制造、腦機(jī)+新一代信息技術(shù)、腦機(jī)+新材料等領(lǐng)域的專業(yè)化特色產(chǎn)業(yè)基地，由杭州啟真未來科技發(fā)展有限公司負(fù)責(zé)全面運(yùn)營(yíng)。

基地依托浙江大學(xué)在腦機(jī)智能方面的學(xué)科優(yōu)勢(shì)，以腦機(jī)智能作為核心科技支撐，貫徹浙江大學(xué)國(guó)家大學(xué)科技園“有組織科技成果轉(zhuǎn)化、有靶向科技企業(yè)孵化、有體系未來產(chǎn)業(yè)培育”的服務(wù)體系，致力于打造腦機(jī)智能領(lǐng)域具備成果顯示度、區(qū)域影響力的產(chǎn)業(yè)化高地。