圖源：OralGPT-Omni: A Versatile Dental Multimodal Large Language Model

好的牙·訊｜近日，中國香港大學牙醫(yī)學院研究團隊聯(lián)合深圳大學、中國香港科技大學（廣州）等多所院校發(fā)表論文，介紹首個牙科專用多模態(tài)大語言模型 OralGPT-Omni。

該模型可處理口內(nèi)照片、根尖片、頭顱側(cè)位片、病理切片、口內(nèi)視頻等8種牙科影像。覆蓋病變診斷、CVM分期預測、治療方案推薦、視頻理解和牙位定位計數(shù)5類任務(wù)。

研究團隊設(shè)計了TRACE-CoT（透明放射學分析與臨床證據(jù)）推理模式，使AI模仿放射科醫(yī)師的診斷思維過程。該推理模式包含5個步驟：影像檢查、假設(shè)生成、醫(yī)學專業(yè)知識參考、基于特征的驗證、循證結(jié)論。兩名牙醫(yī)對300個TRACE-CoT數(shù)據(jù)樣本進行質(zhì)量評估，結(jié)果顯示其具有較高的質(zhì)量和可靠性。

圖源：OralGPT-Omni: A Versatile Dental Multimodal Large Language Model

值得注意的是，研究團隊從31個公開數(shù)據(jù)集和1家中國香港牙科醫(yī)院收集數(shù)據(jù)，構(gòu)建了包含約321萬文本詞匯、近6萬張圖像和90個視頻的大型數(shù)據(jù)集。采用四階段訓練策略：牙科知識注入、牙科概念對齊、監(jiān)督微調(diào)和強化學習調(diào)優(yōu)。在強化學習階段，團隊還引入了難度感知數(shù)據(jù)選擇策略和TRACE獎勵機制。

此外，研究團隊構(gòu)建了MMOral-Uni基準測試，包含2809個經(jīng)過專業(yè)牙醫(yī)驗證的開放式問答對，涵蓋5種影像模態(tài)和5類任務(wù)。OralGPT-Omni在該基準測試中獲得51.84分，在MMOral-OPG全景片基準測試中獲得45.31分。而對比數(shù)據(jù)顯示，GPT-5在MMOral-Uni基準測試中得分僅15.42分。

據(jù)悉，研究團隊邀請了一位擁有超過10年經(jīng)驗的放射科醫(yī)師對GPT-5、Lingshu-7B和OralGPT-Omni三個模型的輸出進行了臨床有效性評估。評估結(jié)果顯示，OralGPT?Omni在準確性和臨床可用性方面獲得較高評價。

研究團隊指出，OralGPT-Omni在復雜治療方案制定方面仍存在局限性。治療方案需要考慮患者的整體健康狀況、經(jīng)濟能力和治療偏好等更多個體化因素。在訓練數(shù)據(jù)中，治療方案數(shù)據(jù)僅占0.006%。此外，研究團隊表示，將公開所有代碼、數(shù)據(jù)和模型。

【特別鳴謝】如果本文有錯漏之處需要勘誤，請聯(lián)系我們的客服，屆時我們會為您準備小禮物，感謝！

【免責聲明】上述內(nèi)容源于公開信息，可能存在不準確性，僅供參考。本文不構(gòu)成對任何人的投資與決策建議，好的牙不對因使用本資料而導致的損失承擔任何責任，并對本內(nèi)容擁有最終解釋權(quán)。

@好的牙口腔行業(yè)研究