国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

Cloudflare把冷啟動(dòng)干到0毫秒,AI代理成本砍了80%

0
分享至


2026年3月,Cloudflare工程師博客更新了一條技術(shù)公告:Dynamic Workers正式上線。這不是常規(guī)的功能迭代——他們要把AI生成代碼的執(zhí)行延遲,從"喝杯咖啡等結(jié)果"壓到"眨眼的功夫"。

數(shù)據(jù)很直白:傳統(tǒng)AI代理架構(gòu)里,大模型每步推理都要走網(wǎng)絡(luò)往返,token費(fèi)用像漏水的水龍頭。Cloudflare的新方案直接讓LLM一次性寫完執(zhí)行腳本,推理成本最高砍掉80%。

ReAct模式:AI代理的"擠牙膏"困境

現(xiàn)在主流的AI代理都在用ReAct范式(推理-行動(dòng)循環(huán))。LLM發(fā)現(xiàn)需要調(diào)用工具,就停下來發(fā)請(qǐng)求,等后端執(zhí)行完再把結(jié)果塞回上下文窗口,接著推理下一步。循環(huán)往復(fù)。

這套流程的問題在于網(wǎng)絡(luò)延遲會(huì)疊加。每一步都要重新發(fā)送完整對(duì)話歷史,token賬單跟著步驟數(shù)線性膨脹。你的AI代理不是在思考,是在刷你的信用卡刷得很慢。

Cloudflare和前沿AI研究者盯上了另一個(gè)思路:讓LLM直接寫執(zhí)行邏輯。給模型API schema,讓它生成一段TypeScript或JavaScript函數(shù),把所需操作串成管道。Cloudflare內(nèi)部管這叫"Code Mode"。

一次性生成執(zhí)行腳本,LLM只 invoked(調(diào)用)一次,而非反復(fù) invoked 來推進(jìn)計(jì)劃。

容器方案的"穿幫時(shí)刻"

Code Mode理論上很干凈,但執(zhí)行未經(jīng)驗(yàn)證的AI生成代碼是顆雷。傳統(tǒng)做法是用Linux容器或微虛擬機(jī)做沙箱隔離,這里暴露了老架構(gòu)的致命傷。

容器啟動(dòng)以秒計(jì),冷啟動(dòng)成本直接吃掉延遲優(yōu)勢。安全沙箱本身就成了性能瓶頸——你為了安全付出的代價(jià),恰好抵消了讓LLM寫代碼省下來的時(shí)間。

Cloudflare Dynamic Workers的解法是把Linux容器換成即時(shí)創(chuàng)建的輕量V8 isolate。V8 isolate是Chrome同款JavaScript引擎的隔離單元,啟動(dòng)時(shí)間在毫秒級(jí),內(nèi)存占用只有容器的零頭。

Dynamic Workers的三張底牌

零冷啟動(dòng)。 V8 isolate的創(chuàng)建和銷毀速度讓容器看起來像蒸汽機(jī)車。AI代理收到用戶請(qǐng)求的瞬間,執(zhí)行環(huán)境已經(jīng)就緒。

成本結(jié)構(gòu)重構(gòu)。 省下的不只是token費(fèi)用。容器編排的復(fù)雜度、安全補(bǔ)丁的維護(hù)成本、預(yù)置環(huán)境的閑置開銷,全部被打包進(jìn)Cloudflare的邊緣網(wǎng)絡(luò)托管。

攻擊面收縮。 V8 isolate的設(shè)計(jì)初衷就是跑不可信代碼。每個(gè)isolate有獨(dú)立的堆內(nèi)存和全局對(duì)象,逃逸漏洞的歷史記錄比容器少一個(gè)數(shù)量級(jí)。

Cloudflare在公告里放了一個(gè)對(duì)比:同樣執(zhí)行AI生成的數(shù)據(jù)處理腳本,Dynamic Workers的P99延遲比AWS Lambda容器方案低兩個(gè)數(shù)量級(jí)。具體數(shù)字沒公布,但"兩個(gè)數(shù)量級(jí)"在工程師語境里通常是100倍起步。

動(dòng)手搭建:從schema到沙箱

實(shí)際部署比想象的要輕。核心流程三步:定義API schema,寫prompt讓LLM生成符合schema的函數(shù),把函數(shù)丟進(jìn)Dynamic Worker執(zhí)行。

schema設(shè)計(jì)是關(guān)鍵。你需要讓LLM明確知道哪些端點(diǎn)可用、參數(shù)類型、返回值結(jié)構(gòu)。Cloudflare的示例用了Zod做運(yùn)行時(shí)校驗(yàn),生成代碼先過類型檢查再進(jìn)isolate。

安全層不能省。即便V8 isolate本身有隔離性,Cloudflare還是加了代碼靜態(tài)分析和執(zhí)行超時(shí)熔斷。AI生成的代碼可能死循環(huán),也可能試圖訪問未聲明的API——這些都要在進(jìn)沙箱前攔住。

一個(gè)細(xì)節(jié):Dynamic Workers支持把執(zhí)行結(jié)果直接流回LLM做后續(xù)處理,或者緩存到Workers KV供其他服務(wù)消費(fèi)。這意味著你可以把"生成代碼-執(zhí)行-存結(jié)果"整條鏈掛在邊緣節(jié)點(diǎn),離用戶物理距離最近的地方跑完全程。

Cloudflare工程師在博客評(píng)論區(qū)回復(fù)了一個(gè)用戶問題:如果LLM生成的代碼有bug怎么辦?回答是"和調(diào)試普通TypeScript一樣,日志和堆棧追蹤全給你"。這暗示了另一個(gè)設(shè)計(jì)選擇——Dynamic Workers的執(zhí)行環(huán)境和標(biāo)準(zhǔn)Workers共享同一套可觀測性工具,沒有額外的學(xué)習(xí)成本。

現(xiàn)在的問題是:當(dāng)你的競爭對(duì)手還在用ReAct模式數(shù)著token賬單時(shí),你愿意把AI代理的執(zhí)行邏輯交給LLM一次性寫完嗎?

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
清明將至,俗話說:“墳頭三不動(dòng),一動(dòng)窮三代”今年應(yīng)如何祭祖?

清明將至,俗話說:“墳頭三不動(dòng),一動(dòng)窮三代”今年應(yīng)如何祭祖?

磊子講史
2026-03-20 16:07:07
信張維迎還是信張維為?這是一個(gè)時(shí)代之問

信張維迎還是信張維為?這是一個(gè)時(shí)代之問

壹家言
2026-03-24 22:54:33
你知道我在床上有多厲害嗎?

你知道我在床上有多厲害嗎?

果粉之家
2026-03-20 12:35:16
網(wǎng)傳蘇州女司機(jī)撞到老人后被家屬打死?記者核實(shí):女司機(jī)耳部縫針治療后已出院,后續(xù)仍需觀察

網(wǎng)傳蘇州女司機(jī)撞到老人后被家屬打死?記者核實(shí):女司機(jī)耳部縫針治療后已出院,后續(xù)仍需觀察

揚(yáng)子晚報(bào)
2026-03-25 20:25:53
出生率跌破韓國!中部第一強(qiáng)省,怎么了?

出生率跌破韓國!中部第一強(qiáng)省,怎么了?

西部城市
2026-03-24 22:45:10
張雪峰離世細(xì)節(jié)曝光:血管堵了90%,出事后40分鐘才送醫(yī)

張雪峰離世細(xì)節(jié)曝光:血管堵了90%,出事后40分鐘才送醫(yī)

郭包肉八世
2026-03-25 12:30:11
勞斯萊斯中國回應(yīng)取消純電計(jì)劃:受全球政策影響 V12發(fā)動(dòng)機(jī)將延續(xù)至下個(gè)10年

勞斯萊斯中國回應(yīng)取消純電計(jì)劃:受全球政策影響 V12發(fā)動(dòng)機(jī)將延續(xù)至下個(gè)10年

快科技
2026-03-23 15:10:24
剛奪冠就1輪游?塔猜亞首輪戰(zhàn)克星,或延續(xù)不勝紀(jì)錄,丁俊暉受益

剛奪冠就1輪游?塔猜亞首輪戰(zhàn)克星,或延續(xù)不勝紀(jì)錄,丁俊暉受益

劉姚堯的文字城堡
2026-03-25 08:38:43
41歲張雪峰猝然離世!生前曬得最多的不是豪車,是千萬捐款回執(zhí)單

41歲張雪峰猝然離世!生前曬得最多的不是豪車,是千萬捐款回執(zhí)單

觀魚聽雨
2026-03-25 10:48:08
萬達(dá)集團(tuán)王健林資產(chǎn)變現(xiàn)失敗

萬達(dá)集團(tuán)王健林資產(chǎn)變現(xiàn)失敗

地產(chǎn)微資訊
2026-03-25 10:24:45
心理學(xué)證實(shí):孩子跟媽媽的相處模式,就是他未來和世界的相處模式

心理學(xué)證實(shí):孩子跟媽媽的相處模式,就是他未來和世界的相處模式

戶外阿毽
2026-03-17 14:28:28
錢再多有什么用?趙本山一家4口如今現(xiàn)狀,給所有中老年人提了醒

錢再多有什么用?趙本山一家4口如今現(xiàn)狀,給所有中老年人提了醒

心靈的觸動(dòng)a
2026-03-19 10:35:16
米蘭官博悼念張雪峰:向他的家人致以深切哀悼和衷心慰問

米蘭官博悼念張雪峰:向他的家人致以深切哀悼和衷心慰問

懂球帝
2026-03-24 23:08:15
僅差51助攻達(dá)成場均三雙!約基奇追威少神跡:又刷5紀(jì)錄獻(xiàn)準(zhǔn)絕殺

僅差51助攻達(dá)成場均三雙!約基奇追威少神跡:又刷5紀(jì)錄獻(xiàn)準(zhǔn)絕殺

顏小白的籃球夢(mèng)
2026-03-25 14:16:02
美股三大指數(shù)集體高開 Arm美股漲超9%

美股三大指數(shù)集體高開 Arm美股漲超9%

財(cái)聯(lián)社
2026-03-25 21:32:11
2-2泰國,2人表現(xiàn)亮眼,1人不受主帥待見,球迷:山東泰山好幸福

2-2泰國,2人表現(xiàn)亮眼,1人不受主帥待見,球迷:山東泰山好幸福

我就是一個(gè)說球的
2026-03-25 22:19:57
60年前,金門戰(zhàn)役里被俘的3000名我軍將士,如今都怎么樣了

60年前,金門戰(zhàn)役里被俘的3000名我軍將士,如今都怎么樣了

老范談史
2026-03-17 09:58:57
日本不再歡迎中國人?3月起日本簽證“一刀切”,華人進(jìn)退兩難!

日本不再歡迎中國人?3月起日本簽證“一刀切”,華人進(jìn)退兩難!

介知
2026-03-24 23:19:18
張雪峰:如果你不好好學(xué)習(xí),一旦掉入社會(huì)底層,和一群沒有素質(zhì)的人混在一起.....

張雪峰:如果你不好好學(xué)習(xí),一旦掉入社會(huì)底層,和一群沒有素質(zhì)的人混在一起.....

山東教育
2026-01-27 11:38:18
演員李萍官宣當(dāng)姥姥,飛美國陪女兒待產(chǎn)心焦急,外孫漂亮白里透紅

演員李萍官宣當(dāng)姥姥,飛美國陪女兒待產(chǎn)心焦急,外孫漂亮白里透紅

離離言幾許
2026-03-23 20:20:53
2026-03-26 00:51:00
碳基打工人
碳基打工人
坐標(biāo)北京,靠咖啡續(xù)命,靠小紅書下飯的普通人類。
97文章數(shù) 0關(guān)注度
往期回顧 全部

科技要聞

紅極一時(shí)卻草草收?qǐng)?,Sora宣布正式關(guān)停

頭條要聞

伊朗放話愿意與"主和派"萬斯談 特朗普表態(tài)

頭條要聞

伊朗放話愿意與"主和派"萬斯談 特朗普表態(tài)

體育要聞

35歲替補(bǔ)門將,憑什么入選英格蘭隊(duì)?

娛樂要聞

張雪峰經(jīng)搶救無效不幸去世 年僅41歲

財(cái)經(jīng)要聞

管濤:中東局勢如何影響人民幣匯率走勢?

汽車要聞

智己LS8放大招 30萬內(nèi)8系旗艦+全線控底盤秀實(shí)力

態(tài)度原創(chuàng)

數(shù)碼
本地
藝術(shù)
教育
公開課

數(shù)碼要聞

蘋果macOS 26.4新增“慢速充電器”提示

本地新聞

來永泰同安 赴一場春天的約會(huì)

藝術(shù)要聞

1008米!世界新第一高樓用上中國黑科技!

教育要聞

寒門的缺點(diǎn)是自負(fù),優(yōu)點(diǎn)是敢拼

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進(jìn)入關(guān)懷版