北京
上個(gè)月有個(gè)開發(fā)者干了件挺軸的事——為了搞明白2026年怎么爬數(shù)據(jù)最靠譜，他硬是從50個(gè)Reddit子版塊扒了1萬(wàn)條帖子，跑了200多次測(cè)試。不是紙上談兵，是真刀真槍地試了4種方案，記錄什么崩了什么活著。
最傳統(tǒng)的HTML解析+CSS選擇器，兩周內(nèi)崩了3次。網(wǎng)站一改版，腳本直接報(bào)廢。很多人以為這是"標(biāo)準(zhǔn)答案"，結(jié)果在穩(wěn)定性上栽了跟頭。
轉(zhuǎn)折點(diǎn)在JSON接口。Reddit的old.reddit.com/r/xxx.json這個(gè)端點(diǎn)，30天零故障，格式幾年沒(méi)變過(guò)。開發(fā)者原話：「Zero breakages in 30 days」。相比之下，無(wú)頭瀏覽器慢10倍貴5倍，官方API政策還老變——典型的過(guò)度工程和過(guò)度管制。
這事的啟發(fā)挺簡(jiǎn)單：先給URL加個(gè).json試試，比盲目上Selenium聰明多了。他最后把這堆經(jīng)驗(yàn)開源了，能抓20多個(gè)字段包括完整評(píng)論樹。
評(píng)論區(qū)有人補(bǔ)刀：Instagram、Twitter早年也有這種隱藏JSON端點(diǎn)，后來(lái)慢慢封了。Reddit這塊老骨頭還能撐多久，沒(méi)人知道。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
