聞樂(lè) 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

讓OpenClaw幫干活還不夠，現(xiàn)在，程序員們正想方設(shè)法讓龍蝦自己變強(qiáng)

注意注意！還不是某個(gè)任務(wù)上的單點(diǎn)提升，這次有人直接給整個(gè)智能體套一層在線(xiàn)強(qiáng)化學(xué)習(xí)系統(tǒng)MetaClaw

不用自己維護(hù)GPU集群、不用數(shù)據(jù)集也無(wú)需人工微調(diào)，讓AI跟你聊著聊著就能自己變聰明。

這種新的學(xué)習(xí)模式就是把用戶(hù)和AI的日常對(duì)話(huà)直接變成訓(xùn)練數(shù)據(jù)，整個(gè)學(xué)習(xí)循環(huán)全在后臺(tái)完成，也不耽誤正常使用。

咱平時(shí)跟AI該聊啥聊啥，MetaClaw會(huì)默默攔截OpenClaw的交互過(guò)程，給每一輪對(duì)話(huà)打分，再通過(guò)在線(xiàn)微調(diào)優(yōu)化AI的決策策略。

而且它還吃一塹長(zhǎng)一智，要是AI哪句話(huà)翻車(chē)了，MetaClaw會(huì)自動(dòng)扒完整的交互軌跡，分析問(wèn)題出在哪，然后自動(dòng)生成一個(gè)新技能存進(jìn)技能庫(kù)。

下次再遇到類(lèi)似的坑，相關(guān)技能會(huì)被精準(zhǔn)搜索出來(lái)注入系統(tǒng)提示，同款錯(cuò)誤直接拜拜。

技能注入+技能進(jìn)化

模型底座基于Kimi-2.5構(gòu)建，同時(shí)也準(zhǔn)備了Qwen3-4B這個(gè)輕量級(jí)替代方案，低配設(shè)備也能跑。

核心機(jī)制是自研的SkillRL技能增強(qiáng)強(qiáng)化學(xué)習(xí)框架，說(shuō)白了就是技能注入+技能進(jìn)化的組合拳。

• 技能注入：每輪對(duì)話(huà)里精準(zhǔn)匹配相關(guān)技能指令，不用等訓(xùn)練結(jié)束，AI當(dāng)場(chǎng)就能優(yōu)化表現(xiàn)；
• 技能進(jìn)化：讓AI從被動(dòng)接收指令變成主動(dòng)生成技能，技能庫(kù)越用越豐富，能力水漲船高。

而最吸引人的，是不依賴(lài)本地GPU集群，不用自己維護(hù)這個(gè)設(shè)定。

MetaClaw把所有訓(xùn)練任務(wù)全甩給了Tinker云平臺(tái)，訓(xùn)練和部署徹底分家。

只要你的設(shè)備能連上網(wǎng)，就能跑通整個(gè)系統(tǒng)，不用操心算力，也不用專(zhuān)門(mén)的工程團(tuán)隊(duì)盯著維護(hù)。

這波直接把AI持續(xù)學(xué)習(xí)的門(mén)檻干到了地板級(jí)，普通人也能養(yǎng)出會(huì)進(jìn)化的龍蝦了。

除此之外，MetaClaw的細(xì)節(jié)設(shè)計(jì)也很懂開(kāi)發(fā)者的痛點(diǎn)。

異步架構(gòu)+雙學(xué)習(xí)模式，把服務(wù)、獎(jiǎng)勵(lì)建模和訓(xùn)練徹底解耦，AI一邊給用戶(hù)實(shí)時(shí)響應(yīng)，后臺(tái)一邊做打分和優(yōu)化，“工作學(xué)習(xí)”兩不耽誤。

學(xué)習(xí)模式也給足了選擇，想輕量化就用強(qiáng)化學(xué)習(xí)，從用戶(hù)隱式反饋里優(yōu)化；想深度提升就用在線(xiàn)策略蒸餾，結(jié)合高質(zhì)量文本反饋進(jìn)階。

主打一個(gè)你想怎么訓(xùn)就怎么訓(xùn)。

三步上手

用起來(lái)還賊簡(jiǎn)單，就3步。

第一步先安裝依賴(lài)，前面的是常規(guī)服務(wù)和大模型相關(guān)庫(kù)，跑API、發(fā)請(qǐng)求、接大模型都用得上。

后面的tinker和tinker-cookbook是關(guān)鍵，這是云端LoRA訓(xùn)練的SDK。

• - pip install fastapi uvicorn httpx openai transformers
  - pip install tinker tinker-cookbook

第二步運(yùn)行配置腳本將OpenClaw網(wǎng)關(guān)指向MetaClaw的代理，比較推薦的是Kimi2.5.

• - bash openclaw_model_kimi.sh

第三步是設(shè)置Tinker API密鑰，直接跑訓(xùn)練腳本。

• - export TINKER_API_KEY=”xxx”
  - cd /path/to/metaclaw
  - python examples/run_conversation_rl.py

搞定，之后你只需要像平常一樣和Agent聊天，MetaClaw會(huì)自動(dòng)收集對(duì)話(huà)輪次、評(píng)分、訓(xùn)練模型。

每攢夠一批樣本就熱替換一次權(quán)重，全程無(wú)需人工干預(yù)。

如果想啟用技能注入，只需在配置中設(shè)置：

• - config = MetaClawConfig(use_skills=True)

想開(kāi)始技能進(jìn)化，可以設(shè)置（以GPT5.2為例）：

• - config = MetaClawConfig(
  use_skills=True,
  enable_skill_evolution=True,
  azure_openai_deployment=”gpt-5.2”,
  

然后配好密鑰：

• - export AZURE_OPENAI_API_KEY=”xxx”
  - export AZURE_OPENAI_ENDPOINT=”https://your-endpoint.openai.azure.com/“

所有配置項(xiàng)都集中在MetaClawConfig中，包括模型選擇、LoRA參數(shù)、批次大小、訓(xùn)練步數(shù)、損失函數(shù)類(lèi)型等，一目了然。

好好好，這下變成真·養(yǎng)蝦了（doge）。

MetaClaw這項(xiàng)工作由姚驊修領(lǐng)導(dǎo)，他是電子科技大學(xué)校友，現(xiàn)任UNC計(jì)算機(jī)科學(xué)系的助理教授，曾在Stanford AI Lab做博士后，專(zhuān)注于Agent和具身AI。

項(xiàng)目地址：https://github.com/aiming-lab/MetaClaw

[1]https://x.com/BoWang87/status/2031094971630235941
[2]https://x.com/HuaxiuYaoML/status/2031069599651729905

— 完 —