本文整理自《The Transmitter》的獨(dú)家報(bào)道：“Exclusive: Springer Nature retracts, removes nearly 40 publications that trained neural networks on ‘bonkers’ dataset”。

據(jù)《The Transmitter》報(bào)道，出版商Springer Nature開始撤回?cái)?shù)十篇論文，這些論文所依賴的數(shù)據(jù)集存在倫理與可靠性問題。該出版商的科研誠信部門負(fù)責(zé)人Tim Kersjes表示：自11月16日起，已有5篇論文被撤回，另有33篇計(jì)劃撤回。

這些論文使用的數(shù)據(jù)集包含兒童面部照片，嘗試訓(xùn)練神經(jīng)網(wǎng)絡(luò)以區(qū)分自閉癥與非自閉癥兒童。

數(shù)據(jù)集存在倫理與可靠性問題

根據(jù)數(shù)據(jù)集的相關(guān)描述，是已退休工程師Gerald Piosenka于2019年創(chuàng)建了該數(shù)據(jù)集。他從一些“自閉癥主題網(wǎng)站”下載兒童照片，并將其上傳至谷歌旗下的機(jī)器學(xué)習(xí)公共數(shù)據(jù)集平臺(tái)Kaggle。數(shù)據(jù)集中包含2900多張兒童面部照片，其中一半被標(biāo)注為自閉癥，另一半被標(biāo)注為非自閉癥。

在閱讀了一篇使用該數(shù)據(jù)集的論文后，牛津大學(xué)發(fā)育神經(jīng)心理學(xué)榮譽(yù)教授Dorothy Bishop去下載了數(shù)據(jù)集，看完之后表示：“我極度震驚，尤其是看到該數(shù)據(jù)集的創(chuàng)建方式時(shí)，第一反應(yīng)是荒謬。”

Dorothy Bishop表示，在未確認(rèn)每個(gè)孩子身份的情況下，根本無法核實(shí)這些兒童是否患有自閉癥。這些照片的光照條件、拍攝角度與表情都不一樣，會(huì)給數(shù)據(jù)集引入過多干擾因素。“即便自閉癥與非自閉癥存在面部特征差異，依靠這些照片也很難將其識(shí)別出來，因?yàn)榇嬖谔嗯c病情無關(guān)的變量”。

澳大利亞兒童研究所首席研究員Gail Alvares認(rèn)為，圖片是從不同網(wǎng)站下載的，這些兒童及其家庭是否同意將其用于研究值得懷疑?！皩D片上傳至互聯(lián)網(wǎng)，并不意味著授權(quán)其用于科研目的”。

一位Kaggle用戶曾在評(píng)論區(qū)提出相同的質(zhì)疑，Gerald Piosenka回應(yīng)稱未侵犯隱私，所有圖片均屬公開資源，他表示“還有比'促進(jìn)兒童自閉癥早期檢測(cè)與治療'更符合倫理的嗎？”。

就其數(shù)據(jù)集影響到多篇論文導(dǎo)致撤稿一事，Gerald Piosenka并未予以回應(yīng)。

該數(shù)據(jù)集已引起多個(gè)出版商關(guān)注

Tim Kersjes透露，Springer Nature在上個(gè)月針對(duì)兩篇論文的獨(dú)立調(diào)查中，首次注意到這個(gè)數(shù)據(jù)集。

當(dāng)時(shí)，科研誠信團(tuán)隊(duì)正著手調(diào)查一篇“特別關(guān)注”的論文，收到圖盧茲大學(xué)計(jì)算機(jī)科學(xué)教授Guillaume Cabanac的提醒，要關(guān)注另一篇包含“扭曲短語”的論文，可能是由AI生成的。

調(diào)查團(tuán)隊(duì)注意到，這兩篇論文均使用了上文提及的這個(gè)數(shù)據(jù)集，并認(rèn)為該數(shù)據(jù)集可靠性存疑，且圖片收集未獲倫理審批或知情同意。Tim Kersjes指出：“這一重大方法學(xué)缺陷，動(dòng)搖了已發(fā)表成果的結(jié)論有效性”。

2022年5月10日，該數(shù)據(jù)集的創(chuàng)建者Gerald Piosenka在Kaggle上留言，稱因違反平臺(tái)服務(wù)條款，刪除了數(shù)據(jù)集。但隨后，他又將數(shù)據(jù)集文件存至Google Drive。Springer Nature團(tuán)隊(duì)還發(fā)現(xiàn)了兩個(gè)由其他Kaggle用戶上傳的數(shù)據(jù)集，疑似原始數(shù)據(jù)集的復(fù)制版本。

《The Transmitter》聯(lián)系了Gerald Piosenka和谷歌后，其他用戶上傳的數(shù)據(jù)集從Kaggle上消失了，Piosenka分享數(shù)據(jù)集鏈接的評(píng)論也被刪除了。

Tim Kersjes及其團(tuán)隊(duì)系統(tǒng)審查了Springer Nature的出版物，以發(fā)現(xiàn)是否有其他文章使用了該數(shù)據(jù)集。最終計(jì)劃撤稿38篇論文、會(huì)議論文集和書籍章節(jié)，并下架其中的37篇（這些下架出版物可保留撤稿聲明、論文標(biāo)題、作者、DOI等信息，但論文本身無法訪問）。

除了自查，Springer Nature還聯(lián)系了其他出版商就該數(shù)據(jù)集問題提出預(yù)警。

《The Transmitter》通過谷歌學(xué)術(shù)搜索，發(fā)現(xiàn)至少90篇出版物引用了該數(shù)據(jù)集，其中25篇發(fā)表于IEEE（電氣電子工程師學(xué)會(huì)）旗下期刊。IEEE發(fā)言人回應(yīng)：“已知悉該問題，正在調(diào)查中”。

Wiley曾于2023年撤回了兩篇使用該數(shù)據(jù)集的論文。其發(fā)言人表示：“這兩篇論文是因其他原因被撤稿。我們近期關(guān)注到針對(duì)該數(shù)據(jù)集的質(zhì)疑，正在核查旗下其他論文”。

上文提出質(zhì)疑的兩位學(xué)者Dorothy Bishop和Gail Alvares都強(qiáng)調(diào)，面部特征不能用于診斷自閉癥。自閉癥是復(fù)雜且具異質(zhì)性的病癥，臨床行為特征評(píng)估才是診斷金標(biāo)準(zhǔn)。

Gail Alvares指出，“面部特征與自閉癥診斷的關(guān)聯(lián)性”曾經(jīng)是研究熱點(diǎn)，五年前關(guān)注度最高。有人提出了“面部特征的差異可能反映了大腦發(fā)育的差異”的假設(shè)。此類研究需要獲得知情同意、經(jīng)過臨床確診的大規(guī)模嚴(yán)格對(duì)照?qǐng)D像樣本，而這個(gè)數(shù)據(jù)集“完全不符合可用于科研的數(shù)據(jù)庫的準(zhǔn)確性標(biāo)準(zhǔn)”。

文章整理自：https://www.thetransmitter.org/retraction/exclusive-springer-nature-retracts-removes-nearly-40-publications-that-trained-neural-networks-on-bonkers-dataset/