哈嘍，大家好，今天小墨這篇評論，主要來分析12月22日晚快手直播突然涌現(xiàn)大量色情暴力內(nèi)容，2.5小時(shí)失控，單場5萬人圍觀，審核系統(tǒng)為何全面崩盤。

年底這幾天，互聯(lián)網(wǎng)平臺(tái)的脆弱性再次暴露在公眾面前。先是10月份亞馬遜AWS服務(wù)器宕機(jī)9小時(shí)，Zoom、星巴克等網(wǎng)站跟著癱瘓。12月初支付寶又崩了，這已經(jīng)是10月以來的第三次故障了。

到了12月22日晚上，快手直播首頁突然涌現(xiàn)出大量色情、血腥、暴力內(nèi)容的直播間。晚上10點(diǎn)左右，大量用戶目睹了這些直播。一直到23日凌晨00:30，快手才緊急關(guān)停了全部直播功能。在直播被關(guān)停時(shí)，已經(jīng)有單場直播觀看人數(shù)超過5萬人。

快手在聲明里說平臺(tái)遭到了"黑灰產(chǎn)攻擊"，但攻擊者如何繞過安保機(jī)制，為什么要用這種方式攻擊，官方到現(xiàn)在也沒給出詳細(xì)解釋。唯一能確定的是，快手不只是受害者。

晚上10點(diǎn)正是很多人刷短視頻放松的時(shí)間。有用戶說，22日晚上她正在快手刷美食直播，下一秒劃出來的卻是露骨的色情畫面。在她的首頁上，平?？吹膸ж?、吃播都不見了，色情內(nèi)容占領(lǐng)了多個(gè)直播間，"一劃全是"。她趕緊退出了直播間，后來聽說還有人看到了血腥、解剖的內(nèi)容。

這些直播間上線后，觀看人數(shù)飛漲。有的直播間觀看人數(shù)超過5萬，這也讓這些內(nèi)容被推向了更多人。有人說自己的首頁"一度刷不出其他內(nèi)容""往下劃10次都是涉黃內(nèi)容"。

直到第二天凌晨00:30，快手才下架了全部直播頻道。這種"無差別關(guān)停"被認(rèn)為是互聯(lián)網(wǎng)平臺(tái)最高級別的應(yīng)急處理措施。

大量用戶見證了這場長達(dá)2個(gè)半小時(shí)的混亂。直播的發(fā)布者既有剛注冊的新賬號(hào)，也有曾經(jīng)發(fā)過視頻的老賬號(hào)，這些賬號(hào)被認(rèn)為是長久沒被使用的"僵尸號(hào)"。

有人甚至看到一個(gè)賬號(hào)顯示距離自己只有500米。有用戶嘗試舉報(bào)這些直播間，但沒有任何效果。當(dāng)天凌晨，北京公安局海淀分局對媒體表示，他們已經(jīng)接到了多個(gè)快手直播相關(guān)的群眾報(bào)案。

12月中旬，有媒體報(bào)道稱，一位家長發(fā)現(xiàn)自己上初中的孩子在快手上看到了不該看的內(nèi)容，孩子受到驚嚇，幾天都不敢獨(dú)自睡覺。

2023年《第5次全國未成年人互聯(lián)網(wǎng)使用情況調(diào)查報(bào)告》顯示，經(jīng)?？炊桃曨l的未成年網(wǎng)民比例已經(jīng)從2018年的40.5%增長至2022年的54.1%。短視頻已經(jīng)成為未成年人獲取信息的重要渠道，但這次事故中，很多未成年用戶毫無防備地看到了極端內(nèi)容。

事故發(fā)生后，多名信息安全專家在網(wǎng)上發(fā)表了看法。他們認(rèn)為，黑灰產(chǎn)在制造這場混亂時(shí)使用了自動(dòng)化攻擊，利用海量賬號(hào)集中開播，導(dǎo)致平臺(tái)"執(zhí)行封禁"的能力被摧毀了，直播賬號(hào)的數(shù)量太大，突破了審核防守的極限。

其次是實(shí)名認(rèn)證問題。直播需要實(shí)名認(rèn)證，攻擊者被認(rèn)為是通過盜號(hào)獲得已實(shí)名的用戶賬戶，或者大批注冊虛擬手機(jī)號(hào)，繞開了實(shí)名認(rèn)證系統(tǒng)獲得實(shí)名權(quán)限。最后，這些直播間不僅開播，還出現(xiàn)在了無數(shù)人的首頁，這意味著推薦機(jī)制也參與其中。

攻擊選擇的時(shí)間點(diǎn)也很關(guān)鍵。晚10點(diǎn)是用戶大量登入的"平臺(tái)負(fù)載水位高點(diǎn)"，也是人工審核換班期，人力最薄弱、應(yīng)急響應(yīng)速度下降。

11月，全球領(lǐng)先的AI實(shí)驗(yàn)室Anthropic發(fā)布報(bào)告稱，今年9月一場"高度復(fù)雜"的攻擊活動(dòng)已由AI徹底主導(dǎo)，每場攻擊中人類僅需參與4到6次關(guān)鍵決策。AI的快速發(fā)展讓發(fā)起類似攻擊的門檻降到了極低。

但無論是哪種可能性，都表明快手從直播實(shí)名認(rèn)證、到內(nèi)容審核、再到推流機(jī)制，都存在潛在的漏洞。一位網(wǎng)絡(luò)安全資深從業(yè)者對媒體說，比如業(yè)務(wù)側(cè)方面，以前的僵尸用戶突然活躍起來了卻沒有預(yù)警，這就是問題。

11月底，國家網(wǎng)絡(luò)安全通報(bào)中心通告稱，快手存在對法律、行政法規(guī)禁止發(fā)布或傳輸?shù)男畔⑽醇皶r(shí)處置，以及落實(shí)青少年模式不到位等情況，對快手公司采取警告處罰。

問題不只是快手的。2021年掃黃打非行動(dòng)中，抖音因傳播淫穢色情低俗信息，被處以頂格罰款。B站平臺(tái)上，"深夜里能看到的擦邊直播更多"，長期被用戶們當(dāng)成心照不宣的"默認(rèn)規(guī)則"。

快手發(fā)布的《2024快手社區(qū)治理報(bào)告》顯示，去年一年，快手日均識(shí)別封禁網(wǎng)絡(luò)水軍、黑產(chǎn)機(jī)器人等賬號(hào)22.5萬個(gè)，攔截作弊請求超1億次。在剛剛過去的一個(gè)月，抖音宣布平臺(tái)清除了涉及未成年人違規(guī)內(nèi)容20.2萬條。但這些只是被發(fā)現(xiàn)、被攔截的部分。

抖音、快手等主流短視頻平臺(tái)都采取雙重審核機(jī)制。平臺(tái)先用機(jī)器對用戶上傳的內(nèi)容進(jìn)行識(shí)別、過濾，被判斷有高危特征的內(nèi)容會(huì)被直接攔截。如果內(nèi)容"未命中高危特征但模型判斷有問題"，會(huì)再采取人工審核。但如果機(jī)器判定內(nèi)容出問題概率較低，內(nèi)容就會(huì)獲得基礎(chǔ)流量。

直播的內(nèi)容審核比短視頻難得多。"短視頻是先審后發(fā)，直播是邊播邊審，在實(shí)時(shí)性方面更難保證"，一位參與了抖音團(tuán)隊(duì)內(nèi)容審核大模型研發(fā)的員工對媒體透露。目前用于直播審核的大模型，還遠(yuǎn)不如短視頻審核的大模型成熟。

但直播業(yè)態(tài)對快手的流量至關(guān)重要。2020年時(shí)，快手兩億多的日活中有一半是直播用戶。當(dāng)時(shí)快手科技副總裁余敬中直言，直播是快手的最大優(yōu)勢。

在4月份被約談后，快手的招聘信息顯示，他們計(jì)劃擴(kuò)招3000名審核人員，將原本2000人的審核團(tuán)隊(duì)擴(kuò)充到5000人，"黨員團(tuán)員優(yōu)先"。各大平臺(tái)的內(nèi)容審核員中，很大一部分是外包崗位。

快手超過一半的審核相關(guān)崗位分布在成都、武漢、天津、哈爾濱等二三線城市，內(nèi)容審核員的工資區(qū)間大多在4000到8000之間。很多審核員需要承受頻繁的夜班、近12小時(shí)的工作時(shí)長，長期面對色情、暴力、兇殺等極端內(nèi)容，一些人因此患上PTSD。

諷刺的是，在遭遇攻擊的當(dāng)晚，快手App的下載次數(shù)大漲。23日，快手在蘋果應(yīng)用商店免費(fèi)榜單的排名升至第二名。事故結(jié)束的第二天，依然有人在社交媒體上發(fā)帖，"遺憾沒趕上前一天晚上快手上的色情直播"。平臺(tái)在流量和內(nèi)容安全之間總是存在"兩難"，但潛在的利益也表明平臺(tái)承擔(dān)著不可推卸的責(zé)任。

一家頭部互聯(lián)網(wǎng)公司的前金融業(yè)務(wù)算法總監(jiān)曾將平臺(tái)算法長期存在的問題總結(jié)為商業(yè)目標(biāo)導(dǎo)致的"系統(tǒng)冷漠"。員工們的優(yōu)化目標(biāo)是點(diǎn)擊、存留，而不是一則信息是否健康、屬實(shí)。

網(wǎng)絡(luò)安全作為不產(chǎn)生直接效益的部門，一旦公司開始收縮則很可能被優(yōu)先裁掉。有網(wǎng)絡(luò)安全從業(yè)者在快手直播事故后感嘆，"辛苦工作一年沒出事，領(lǐng)導(dǎo)覺得你什么都沒做；年底一出事，領(lǐng)導(dǎo)覺得你該擔(dān)責(zé)"。