• 克雷西 發(fā)自 凹非寺
  量子位 | 公眾號(hào) QbitAI

用OpenClaw掛機(jī)，抓取網(wǎng)頁時(shí)頻頻翻車的煩人bug終于有解了。

一個(gè)名為Scrapling的數(shù)據(jù)采集神器，幾乎一夜之間就成了OpenClaw的“最強(qiáng)外掛”。

這玩意兒不僅能穿透各種防爬蟲的網(wǎng)頁護(hù)盾，還能把網(wǎng)上雜亂的網(wǎng)頁源碼生扒下來，直接清洗成干凈的結(jié)構(gòu)化數(shù)據(jù)。

搖身一變成為龍蝦神器后，這個(gè)發(fā)布一年多的項(xiàng)目人氣直接大爆發(fā)，狂攬2.3萬stars，一口氣沖上了GitHub單日趨勢(shì)榜第一名。

工具爆火之后，原作者也已經(jīng)明確放話，正在把Scrapling做成OpenClaw的Skill，期待值直接拉滿。

數(shù)據(jù)爬蟲成了AI掛機(jī)神器

讓智能體上網(wǎng)抓數(shù)據(jù)，最煩的就是遇到那種動(dòng)不動(dòng)就跳出來讓你選圖片的真人驗(yàn)證，稍微不注意就會(huì)被關(guān)進(jìn)小黑屋。

Scrapling自帶的StealthyFetcher隱身獲取器專門就是來搞定這些惡心攔截的。

它能完美模擬最新版瀏覽器的指紋和操作行為，幫OpenClaw開箱即用地繞過這些阻攔。

除了躲過攔截，還得應(yīng)付網(wǎng)站老板一拍腦袋就搞的改版換皮。

以前那些老舊的爬蟲工具實(shí)在太死板了，它們通常死死扣住幾個(gè)固定的路徑，只要網(wǎng)頁排版稍微挪動(dòng)一丁點(diǎn)，原本好好的自動(dòng)化任務(wù)就會(huì)立刻罷工報(bào)錯(cuò)。

這種崩潰會(huì)直接導(dǎo)致AI任務(wù)流瞬間癱瘓，甚至本來看一下網(wǎng)頁就知道的信息，還得費(fèi)勁去研究怎么改代碼。

Scrapling最硬核的地方在于它擁有一套智能的自適應(yīng)算法。

即使網(wǎng)站為了防爬或者是為了換新視覺而徹底打亂了HTML結(jié)構(gòu)，它的解析器也能通過相似度比對(duì)自動(dòng)感知數(shù)據(jù)在哪，然后重新定位到正確的關(guān)鍵信息上。

有了這種不需要人工干預(yù)的智能追蹤能力，小龍蝦就能實(shí)現(xiàn)真正的24小時(shí)“穩(wěn)如老蝦”，再也不用擔(dān)心大半夜因?yàn)榫W(wǎng)站悄悄更新而讓掛機(jī)任務(wù)全線斷更了。

輕松上手，還能省錢

既然AI已經(jīng)能像回自己家拿東西一樣，順溜地繞過攔截并搞定網(wǎng)頁改版，那接下來的重點(diǎn)就是怎么更聰明地處理這些信息。

方法很簡單，只要開啟Scrapling內(nèi)置的MCP模式就可以了。

在數(shù)據(jù)喂給大模型之前，它會(huì)先精準(zhǔn)提取正文，把網(wǎng)頁里那些又長又臭的廢話、亂七八糟的廣告和沒用的冗余代碼統(tǒng)統(tǒng)剔除掉。

因?yàn)槲菇oAI的內(nèi)容變精簡了，API調(diào)用的Token費(fèi)用自然也就大幅降了下來，主打一個(gè)省錢又省心。

除了能幫咱們省錢，它對(duì)掛機(jī)環(huán)境的要求也極其親民。

這個(gè)框架內(nèi)存占用非常小，哪怕你手頭只有個(gè)吃灰多年的舊筆記本，或者是租個(gè)入門級(jí)服務(wù)器，它都能輕松跑起來。

而且它還專門設(shè)計(jì)了斷點(diǎn)記憶功能，這對(duì)于長時(shí)間掛機(jī)任務(wù)來說簡直是救命稻草。

萬一遇到偶爾斷網(wǎng)或者是突然斷電，爬取進(jìn)度也會(huì)被牢牢保存下來，等網(wǎng)絡(luò)或電源恢復(fù)了，它就能無縫接力繼續(xù)干活，完全不需要手動(dòng)去重啟任務(wù)。

而且這個(gè)插件不僅不挑機(jī)器，也不挑人，不必會(huì)用Python寫代碼，它直接提供了一套開箱即用的命令行工具。

只要照著教程在黑窗口里敲一行非常簡單的短指令，就能立刻調(diào)用它的全部采集能力。

再加上作者本人表示正在把插件做成龍蝦的Skill，每個(gè)普通用戶都有希望能輕松給自己的OpenClaw武裝上一雙看透全網(wǎng)、精準(zhǔn)抓取數(shù)據(jù)的眼睛了。

項(xiàng)目地址：
https://github.com/D4Vinci/Scrapling