網(wǎng)絡(luò)爬蟲戰(zhàn)爭(zhēng)剛剛升級(jí)。

去年12月，谷歌宣布對(duì)網(wǎng)絡(luò)爬蟲公司SerpApi采取法律行動(dòng)。SerpApi的API允許客戶的爬蟲模擬人類搜索行為，谷歌聲稱該公司的工具"繞過了安全措施"，這些措施本來是為了保護(hù)其搜索結(jié)果，防止被用來滿足許多AI大語言模型對(duì)訓(xùn)練數(shù)據(jù)的巨大需求，而這種行為往往沒有得到網(wǎng)站所有者的知情或許可。

現(xiàn)在SerpApi開始反擊。2月20日，該公司在加利福尼亞州法院提交了駁回動(dòng)議，稱谷歌試圖"將《數(shù)字千年版權(quán)法》武器化"，以阻止其他公司做谷歌自己一直在做的事情：大規(guī)模網(wǎng)絡(luò)爬蟲。

該公司在書面聲明中表示："谷歌認(rèn)為它擁有互聯(lián)網(wǎng)。這是它對(duì)SerpApi提起訴訟的潛臺(tái)詞，這個(gè)原本靜悄悄的部分現(xiàn)在突然決定大聲喊出來。問題是，沒有人擁有互聯(lián)網(wǎng)。法律對(duì)此很明確。"

法律并不明確

然而，盡管SerpApi如此聲稱，法律實(shí)際上并不十分明確。

知識(shí)產(chǎn)權(quán)律師Kirk Sigmon表示："雖然明確的事實(shí)（比如天空是藍(lán)色的這個(gè)概念）不受版權(quán)保護(hù)，但法院經(jīng)常發(fā)現(xiàn)此類事實(shí)的匯編在一定程度上是受版權(quán)保護(hù)的。例如，百科全書或電話簿可能在一定程度上受版權(quán)保護(hù)（比如在編排方面），即使它們基本上都包含基本事實(shí)。"

他指出："換句話說，谷歌是否對(duì)其生成和提供的搜索結(jié)果、摘要、信息擁有版權(quán)，這是一個(gè)懸而未決的問題。如果以這種方式定義工作，SerpApi將面臨更艱難的戰(zhàn)斗。"

但一些觀察者認(rèn)為，谷歌和SerpApi之間的爭(zhēng)端已經(jīng)顯得過時(shí)了。

AI搜索優(yōu)化咨詢公司Harton Works的創(chuàng)始人Martin Jeffrey說："從我的角度來看，這感覺像是一場(chǎng)過時(shí)的訴訟。爬蟲和抓取技術(shù)已經(jīng)從幾年前的水平發(fā)展了。自10月以來，我們看到了大量中國搜索流量通過新加坡路由，試圖掩蓋其來源。我們還看到AppleBot大幅增加的實(shí)例。該行業(yè)已經(jīng)超越了SerpApi。"

此外，他指出："這些來自中國的實(shí)例可能會(huì)對(duì)使用WordPress的企業(yè)網(wǎng)站或維護(hù)不善的網(wǎng)站產(chǎn)生影響。這些企業(yè)可能發(fā)現(xiàn)他們的知識(shí)產(chǎn)權(quán)或以前隱藏的內(nèi)部網(wǎng)絡(luò)消息現(xiàn)在正被用于AI語言模型中。"

他補(bǔ)充說，谷歌并不是唯一進(jìn)行大規(guī)模AI訓(xùn)練數(shù)據(jù)爬取的公司；其他AI企業(yè)正采用不同的方法來獲取數(shù)據(jù)。"Anthropic和OpenAI過去做了很多爬取工作，但這在去年發(fā)生了變化。ChatGPT仍然嚴(yán)重依賴爬取，但現(xiàn)在正在減少。我們看到Anthropic使用量大幅減少；Claude在做什么還不完全清楚，但看起來他們不是在爬取整個(gè)網(wǎng)站，而是選擇單個(gè)頁面。"

不過，知識(shí)產(chǎn)權(quán)律師Sigmon指出，目前還無法確定法庭案件的結(jié)果。他說："總體而言，盡管互聯(lián)網(wǎng)已經(jīng)存在了相當(dāng)長的時(shí)間，但關(guān)于網(wǎng)絡(luò)爬蟲的良好判例法還有些缺乏，特別是在今天進(jìn)行的方式方面。SerpApi的論證可能有助于法院開始處理其中的一些細(xì)微差別，但我不一定將其描述為輕松獲勝。"

Q&A

Q1：SerpApi是什么公司？為什么被谷歌起訴？

A：SerpApi是一家網(wǎng)絡(luò)爬蟲公司，其API允許客戶的爬蟲模擬人類搜索行為。谷歌起訴該公司是因?yàn)槁暦Q其工具"繞過了安全措施"，用于獲取搜索結(jié)果來滿足AI大語言模型對(duì)訓(xùn)練數(shù)據(jù)的需求，且往往沒有得到網(wǎng)站所有者的許可。

Q2：SerpApi如何回應(yīng)谷歌的法律訴訟？

A：SerpApi在加利福尼亞州法院提交了駁回動(dòng)議進(jìn)行反擊，稱谷歌試圖"將《數(shù)字千年版權(quán)法》武器化"來阻止其他公司進(jìn)行大規(guī)模網(wǎng)絡(luò)爬蟲。該公司聲明表示"谷歌認(rèn)為它擁有互聯(lián)網(wǎng)"，但"沒有人擁有互聯(lián)網(wǎng)，法律對(duì)此很明確"。

Q3：網(wǎng)絡(luò)爬蟲的法律地位目前是否明確？

A：法律地位并不明確。知識(shí)產(chǎn)權(quán)律師指出，雖然基本事實(shí)不受版權(quán)保護(hù)，但事實(shí)匯編可能在一定程度上受保護(hù)。關(guān)于谷歌是否對(duì)其搜索結(jié)果擁有版權(quán)仍是懸而未決的問題，而且關(guān)于現(xiàn)代網(wǎng)絡(luò)爬蟲方式的判例法還比較缺乏。