1993年，互聯(lián)網(wǎng)還很小。

我每天早上都會(huì)收到一個(gè)叫做《what’s new on the web》的郵件，上面會(huì)列出所有新出現(xiàn)的網(wǎng)站。

沒(méi)錯(cuò)，是所有的新網(wǎng)站。

我常常一邊喝咖啡，一邊瀏覽這些網(wǎng)站，通常10點(diǎn)鐘之前就能看完。

無(wú)聊的時(shí)候，我開(kāi)始自學(xué)Perl，嘗試寫(xiě)網(wǎng)絡(luò)爬蟲(chóng)，這些爬蟲(chóng)是有用的，比如可以用來(lái)做網(wǎng)站目錄，統(tǒng)計(jì)文檔數(shù)，檢查死鏈，網(wǎng)頁(yè)評(píng)價(jià)大小等等。

在測(cè)試的時(shí)候，我選擇了一個(gè)極為愚蠢的起始URL：一個(gè)講網(wǎng)絡(luò)爬蟲(chóng)的知識(shí)的網(wǎng)站。

這個(gè)網(wǎng)站運(yùn)行在一家非常小的公司的服務(wù)器上，而且只有一條14.4K的專(zhuān)線(xiàn)。（別覺(jué)得14.4K很小，我們公司200人，也就租了一個(gè)64K的專(zhuān)線(xiàn)）。

我的爬蟲(chóng)無(wú)意間進(jìn)行了一次拒絕服務(wù)攻擊（DoS），把那個(gè)網(wǎng)站搞垮了。

負(fù)責(zé)那個(gè)網(wǎng)站的人叫馬丁(Martijn Koster) ，他很生氣，立刻要求我停止那些瘋狂的請(qǐng)求。

馬丁不是一般人，他發(fā)明了世界上第一個(gè)Web搜索引擎AliWeb。

當(dāng)他意識(shí)到網(wǎng)絡(luò)爬蟲(chóng)可能泛濫的時(shí)候，他發(fā)明了一套標(biāo)準(zhǔn)的流程：“機(jī)器人排除協(xié)議”（Robots Exclusion Protocol）。

當(dāng)你的網(wǎng)絡(luò)機(jī)器人訪(fǎng)問(wèn)一個(gè)新網(wǎng)站時(shí)，需要先去找一個(gè)叫 robots.txt 的文件，解析它，然后避開(kāi)里面列出的目錄或文件。

例如，如果robots.txt長(zhǎng)這個(gè)樣子：

User-agent: googlebot

Disallow: /private/

它的意思是對(duì)于googlebot這個(gè)網(wǎng)絡(luò)爬蟲(chóng)，不允許抓取/private這個(gè)目錄下的內(nèi)容。

我覺(jué)得我可能寫(xiě)了第一個(gè)遵守 robots.txt 協(xié)議的爬蟲(chóng)，但可以肯定的是，我是那個(gè)逼得它被發(fā)明出來(lái)的蠢蛋。

0 1

君子協(xié)定，神奇運(yùn)行30年

上面的故事來(lái)自查爾斯·斯特羅斯 (Charles Stross) 的自述，非常生動(dòng)地講述了robots.txt被發(fā)明的過(guò)程。

它并不是一個(gè)委員會(huì)設(shè)計(jì)出來(lái)的規(guī)范，而是早期的互聯(lián)網(wǎng)用戶(hù)為了解決問(wèn)題被迫發(fā)明的方法。

馬丁只是把這個(gè)辦法發(fā)到了WWW-Talk的郵件列表中，然后成員們討論robots.txt的基本語(yǔ)言和結(jié)構(gòu)，最后達(dá)成一致，所有人都開(kāi)始支持robots.txt。

它不像TCP/IP，你不支持就無(wú)法聯(lián)網(wǎng)，它是一個(gè)君子協(xié)定，是否遵守完全看網(wǎng)絡(luò)爬蟲(chóng)編寫(xiě)者的意愿。

這有點(diǎn)兒像在你敞開(kāi)的房間門(mén)口立上一塊牌子：禁止入內(nèi)。

網(wǎng)絡(luò)爬蟲(chóng)/機(jī)器人看到了，就真的不進(jìn)入這個(gè)房間了，不管這個(gè)房間里有多少寶貝。

讓人驚奇的是，在長(zhǎng)達(dá)30年的時(shí)間內(nèi)，robots.txt運(yùn)轉(zhuǎn)良好。

為什么它能活下來(lái)？

在早期，原因只有一個(gè)：不守規(guī)矩的機(jī)器人，會(huì)被全網(wǎng)封殺

在那個(gè)小圈子里，“流氓機(jī)器人”的IP會(huì)被拉黑，域名會(huì)被公開(kāi)點(diǎn)名，這是致命的名譽(yù)風(fēng)險(xiǎn)。

0 2

最遵守robots.txt的公司贏了

時(shí)間很快來(lái)到90年代末，互聯(lián)網(wǎng)迅猛擴(kuò)張，海量的網(wǎng)站一個(gè)上午絕對(duì)是看不完了。

那些藏在世界各地的網(wǎng)站，不通過(guò)搜索引擎，無(wú)論如何也是找不到的。

于是，搜索引擎和網(wǎng)站之間就robots.txt達(dá)成了完美的默契。

網(wǎng)站允許Google爬蟲(chóng)抓取自己的網(wǎng)頁(yè)，這樣它們就可能展示到搜索結(jié)果中，給自己帶來(lái)巨大的曝光流量。

而Google也嚴(yán)格遵循robots.txt的規(guī)定，將流量導(dǎo)致其他網(wǎng)站，同時(shí)在搜索結(jié)果中投放廣告。

這是一次極為成功的價(jià)值交換：你讓我爬數(shù)據(jù)，我給你流量。

雖然robots.txt此時(shí)已經(jīng)成為事實(shí)標(biāo)準(zhǔn)，但世界那么大，總有不遵守robots.txt的公司。

尤其是那些信息聚合網(wǎng)站，無(wú)視r(shí)obots.txt的約定，從別人的網(wǎng)站抓取數(shù)據(jù)（例如新聞，產(chǎn)品信息），聚合后放到自己的網(wǎng)站上。

例如美國(guó)的Bidder's Edge（簡(jiǎn)稱(chēng)BE），它建立了一個(gè)拍賣(mài)信息的聚合網(wǎng)站，專(zhuān)門(mén)從包括eBay在內(nèi)的各個(gè)拍賣(mài)網(wǎng)站去收集信息，這樣BE的用戶(hù)就可以輕松搜索互聯(lián)網(wǎng)上的拍賣(mài)信息，而無(wú)需訪(fǎng)問(wèn)單獨(dú)的拍賣(mài)網(wǎng)站。

這eBay肯定不能忍，由于robots.txt是個(gè)君子協(xié)定，它只好去限制BE爬蟲(chóng)的IP地址，但是BE通過(guò)代理服務(wù)器，繞過(guò)了IP的限制。

eBay沒(méi)辦法，最后一紙?jiān)V狀把BE告上了法庭，2000年5月，法院以非法入侵為由，禁止BE以任何自動(dòng)手段抓取eBay服務(wù)器的數(shù)據(jù)。

0 3

君子協(xié)議被撕毀

2017年，一個(gè)致力于保存互聯(lián)網(wǎng)的網(wǎng)站“互聯(lián)網(wǎng)檔案館”，干了一件震動(dòng)圈子的事情：不再遵守robots.txt。

互聯(lián)網(wǎng)檔案館的理由很直接：robots.txt是為了“搜索”設(shè)計(jì)的，我的目標(biāo)是保存所有網(wǎng)頁(yè)的快照，保存人類(lèi)的互聯(lián)網(wǎng)文明，所以沒(méi)必要遵守。

不過(guò)這件事兒沒(méi)有引起太大波瀾，因?yàn)榛ヂ?lián)網(wǎng)檔案館是個(gè)非盈利的機(jī)構(gòu)，它即使不遵守robots.txt，把所有數(shù)據(jù)都爬了下來(lái)，但依然免費(fèi)開(kāi)放，不會(huì)拿這些數(shù)據(jù)去盈利。

但是對(duì)于AI公司來(lái)說(shuō)，一切都不一樣了。

如果你開(kāi)了一家AI公司，嚴(yán)格遵守robots.txt，而你的競(jìng)爭(zhēng)對(duì)手通過(guò)換UA/IP，偷偷地多抓取一些，結(jié)果會(huì)如何呢？

你公司的模型由于訓(xùn)練數(shù)據(jù)少，自然比不上競(jìng)爭(zhēng)對(duì)手。

用戶(hù)會(huì)因?yàn)槟愕牡赖乱?guī)范高而支持你嗎？不會(huì)，他們肯定都跑到競(jìng)爭(zhēng)對(duì)手那里去了。

“如果我守規(guī)矩，而對(duì)手不守，我就輸了，所以我也不能遵守”。

抓數(shù)據(jù)其實(shí)也沒(méi)啥，要命的是流量無(wú)法回流到網(wǎng)站了：

（1）網(wǎng)站內(nèi)容被吸干，流量消失。

（2）AI直接給出答案，用戶(hù)再也不會(huì)去原來(lái)的網(wǎng)站。

（3）內(nèi)容的創(chuàng)作者，喪失署名權(quán)，沒(méi)有分成。

所有的網(wǎng)站都感受到脊背發(fā)涼：AI不是給我?guī)?lái)流量的，而是來(lái)取代我的。

所以，一定要屏蔽掉那些AI公司的爬蟲(chóng)！

2023 年，Originality.AI統(tǒng)計(jì)發(fā)現(xiàn)，在訪(fǎng)問(wèn)量最高的 1000 個(gè)網(wǎng)站中，有 306 個(gè)在其 robots.txt 文件中屏蔽了 OpenAI 的 GPTBot，85 個(gè)屏蔽了谷歌的 Google-Extended。

BBC 和 《 紐約時(shí)報(bào)》 等新聞網(wǎng)站普遍禁止訪(fǎng)問(wèn) GPTBot。2023 年，博客平臺(tái) Medium 宣布將禁止所有人工智能網(wǎng)絡(luò)爬蟲(chóng)訪(fǎng)問(wèn)。

OpenAI也擺出了高姿態(tài)，說(shuō)要遵守robots.txt，自家爬蟲(chóng)的名字就叫GPTBot，它還發(fā)布并推廣了一個(gè)頁(yè)面，“貼心”地教人們?nèi)绾卧趓obots.txt中屏蔽它。

但是，這一切發(fā)生在“強(qiáng)大的底層模型已經(jīng)訓(xùn)練完成之后”。

換句話(huà)說(shuō)：“你的模型已經(jīng)吃飽了，你才開(kāi)始講禮貌？” 這誰(shuí)受得了？

robots.txt 是建立在“善意 + 搜索回流”之上的制度，而 AI 打破了這三點(diǎn)。

0 4

尾聲

robots的結(jié)構(gòu)性缺陷，在AI時(shí)代徹底暴露。

2025 年，非營(yíng)利組織 RSL Collective 宣布推出Really Simple Licensing（RSL），對(duì)robots.txt進(jìn)行了一次升級(jí)，允許網(wǎng)站發(fā)布者在 robots.txt 中明確設(shè)置 AI 爬蟲(chóng)的使用條款，例如：

AI-Commercial: license-required

RSL 標(biāo)志著 robots.txt 從“爬蟲(chóng)禮貌手冊(cè)”升級(jí)成了“產(chǎn)權(quán)聲明”，它不阻止AI，而是想讓AI回到一個(gè)可以談條件，講規(guī)則的世界。

那些巨頭們會(huì)不會(huì)遵守RSL呢？ 讓我們拭目以待吧！