国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

有損自我改進(jìn)(Lossy Self-Improvement)

0
分享至

為什么自我改進(jìn)是現(xiàn)實存在的,但它不會導(dǎo)致 AI 的“瞬間起飛”。

作者:Nathan Lambert 2026年3月23日

如今,在AI圈子里,“快速起飛”(Fast Takeoff)、“技術(shù)奇點”以及“遞歸自我改進(jìn)”(RSI)是每個人都在關(guān)注的話題。在當(dāng)前的AI產(chǎn)業(yè)中,這些概念確實包含著真實的成分:兩三家實驗室正整合成為擁有最強模型(以及構(gòu)建下一個模型所需資源)的寡頭;當(dāng)今的AI工具正在突發(fā)性地改變工程和研究崗位。

在許多方面,AI研究正變得容易得多。雖然進(jìn)一步擴大語言模型訓(xùn)練規(guī)模所需的技能挑戰(zhàn)依然巨大,但能夠處理這些問題的“超人級”編程助手的出現(xiàn),打破了許多關(guān)于“構(gòu)建這些東西需要什么”的舊主張。這一切正為我們在AI前沿領(lǐng)域迎來一年(或更久)的飛速進(jìn)步奠定基礎(chǔ)。

我們也正處于語言模型已經(jīng)極其出色的時代。事實上,它們已經(jīng)足以勝任大量極具價值的知識工作。很難想象語言模型還能再跨出一大步——目前還不清楚除了代碼和基于命令行(CLI)的計算機操作之外,它們今年還能掌握哪些任務(wù)。當(dāng)然,會有一些新突破!這些能力將開啟新的工作模式,并給經(jīng)濟帶來更多漣漪。

這些劇烈的變化幾乎讓人覺得,語言模型能靠自己不斷加速進(jìn)步是一個理所當(dāng)然的結(jié)論。這種說法的通俗表達(dá)是“遞歸自我改進(jìn)循環(huán)”(RSI Loop)。關(guān)于這個話題的早期探討可以追溯到2000年代,比如2008年的一篇博文:

“當(dāng)你把‘重新設(shè)計你自己的認(rèn)知算法’這個對象級問題交給AI時,遞歸就發(fā)生了?!?br/>

稍早一點,在 2007 年,尤德科夫斯基(Yudkowsky)也在《通用智能的組織層級》中定義了相關(guān)的“種子AI”(Seed AI)概念:

“種子AI是專為自我理解、自我修改和遞歸自我改進(jìn)而設(shè)計的AI。……種子 AI 的后期后果(如真正的遞歸自我改進(jìn))只有在AI實現(xiàn)了顯著的整體理解和通用智能之后才會顯現(xiàn)?!?br/>

考慮到當(dāng)今模型的通用性和實用性,認(rèn)為我們正處于這個階段的起點是合理的。

通常,遞歸自我改進(jìn)(RSI)可以總結(jié)為:當(dāng)AI能改進(jìn)自身時,改進(jìn)后的版本能更高效地進(jìn)行下一次改進(jìn),從而創(chuàng)建一個封閉的放大循環(huán),導(dǎo)致“智能爆炸”,即所謂的奇點。這其中包含幾個假設(shè)。RSI要發(fā)生,必須滿足:

  1. 循環(huán)是封閉的: 模型能不斷改進(jìn)自身并孕育出下一代模型。
  2. 循環(huán)是自我放大的: 下一代模型能比當(dāng)前模型產(chǎn)生更大的進(jìn)步。
  3. 循環(huán)持續(xù)運行且不損失效率: 不存在增加的摩擦力使指數(shù)級增長提前變成“S型曲線”(Sigmoid)。

雖然我同意未來幾年持續(xù)的AI進(jìn)步將帶來重大的、社會不穩(wěn)定的變化,但我預(yù)計,當(dāng)我們回過頭來看時,進(jìn)步的趨勢線將更接近線性而非指數(shù)級。我認(rèn)為,發(fā)生的將不是遞歸自我改進(jìn),而是“有損自我改進(jìn)”(Lossy Self-Improvement, LSI)——模型成為了開發(fā)循環(huán)的核心,但各種摩擦力打破了RSI的所有核心假設(shè)。你投入的算力和智能體越多,出現(xiàn)的損耗和重復(fù)就越多。

我依然相信,先進(jìn)系統(tǒng)的“復(fù)雜性制動器”(Complexity Brake)將是一個強大的抗衡力量,抵消模型在各項細(xì)分任務(wù)上變強的事實。我在2025年4月曾引用過這個觀點:

微軟聯(lián)合創(chuàng)始人保羅·艾倫提出了“復(fù)雜性制動器”理論:科學(xué)越接近理解智能,取得額外進(jìn)展就越困難。對專利數(shù)量的研究顯示,人類的創(chuàng)造力并沒有表現(xiàn)出加速回報,事實上,如約瑟夫·泰恩特在《復(fù)雜社會的崩潰》中所述,它呈現(xiàn)出收益遞減規(guī)律。復(fù)雜性的增長最終會自我限制,并導(dǎo)致廣泛的“通用系統(tǒng)崩潰”。

在現(xiàn)有的模型訓(xùn)練方式、模型所需的深層直覺以及構(gòu)建模型的組織中,有大量例子顯示損耗來自何處。構(gòu)建領(lǐng)先的語言模型極其復(fù)雜,而且正變得越來越復(fù)雜。我認(rèn)為核心摩擦力有以下三點:

1. 可自動化的研究過于狹隘

首先,很明顯,今年的語言模型已經(jīng)可以作為工具,在優(yōu)化局部任務(wù)(如降低模型的測試損失值)方面大顯身手。安德烈·卡帕斯(Andrey Karpathy)最近推出的AutoResearch讓這種做法流行起來。這允許AI智能體直接在GPU上操作,目標(biāo)是降低測試集上的損失。

這種方法在狹窄領(lǐng)域(如單一的測試損失或整體獎勵)有效。問題在于,“賬面上更精確的模型”與“用戶覺得更有生產(chǎn)力的模型”之間長期存在鴻溝。 縮放法則(Scaling Laws)顯示損失會持續(xù)下降,但我們不知道這是否會在經(jīng)濟上產(chǎn)生更大價值。

在后期訓(xùn)練(Post-training)中,強化學(xué)習(xí)算法至少與特定性能增益聯(lián)系得更緊密。但我依然擔(dān)心其泛化能力,以及它是否能真正轉(zhuǎn)化為“擅長構(gòu)建自身和設(shè)計實驗”的模型。我們已經(jīng)看到許多 AI 能力在人類品味的某些水平上趨于飽和,比如寫作質(zhì)量。AI研究雖然不同(天花板更高),但模型會因搜索空間和優(yōu)化目標(biāo)過于寬廣而陷入飽和。最好的研究員所做的是——讓許多可擴展的想法協(xié)同工作,而不僅僅是優(yōu)化單一指標(biāo)。

2. 并行AI智能體的收益遞減

AI快速進(jìn)步面臨的最大問題是:即使我們在數(shù)據(jù)中心擁有 10,000 名遠(yuǎn)程“AI員工”,也幾乎不可能將他們?nèi)考性谝粋€問題上。本質(zhì)上,當(dāng)模型仍然非常相似時,它們是從相同的解空間和能力分布中進(jìn)行采樣,同時受到人類監(jiān)督的瓶頸限制。增加更多智能體,在邊際性能提升上會遇到嚴(yán)格的飽和點——少數(shù)最頂尖研究員的直覺(以及運行實驗的時間)將是最終的瓶頸。



這里可以用阿姆達(dá)爾定律(Amdahl’s Law)來類比:一項任務(wù)能產(chǎn)生的加速,取決于有多少部分可以并行化。想象一個研究員從親手寫代碼,到使用AI自動補全,再到使用自主編碼智能體。這些都是巨大的飛躍。但現(xiàn)在,如果讓一個研究員每天嘗試組織30-40個智能體工作呢?有些人能從中榨取價值,但不多。你能想象有人每天能為AI智能體想出300-400個任務(wù)嗎?沒多少人能做到。這個問題很快也會撞上AI模型的瓶頸。

3. 資源瓶頸與政治博弈

從根本上說,所有AI公司都在走鋼絲:獲取巨額資本、將算力轉(zhuǎn)化為收入、同時在研發(fā)上投入天文數(shù)字。由于資源規(guī)模如此巨大,資源分配和押注目標(biāo)上總會存在政治瓶頸。即便模型持續(xù)改進(jìn),這種摩擦力也永遠(yuǎn)不會消除。AI模型從根本上是在由人類掌控資源瓶頸的組織中運行的。百億美元規(guī)模的研發(fā)算力不太可能完全孤立出來,交給AI模型進(jìn)行端到端的自由實驗。

結(jié)論

我們的工作確實正變得節(jié)奏更快、效率更高。問題在于,所有這些維度都有明確的人類、政治或技術(shù)復(fù)雜性瓶頸。

每一條S型曲線的底部看起來都像指數(shù)級增長。2026年會感覺像是一大步,但并沒有根本性的變化讓我相信進(jìn)步會從此“一飛沖天”。這可能會跨越所謂的AGI門檻(即能夠替代大多數(shù)遠(yuǎn)程辦公者),但這更多是改變了工作的定義。

我們正處于“有損自我改進(jìn)”(LSI)時代。AI模型正在執(zhí)行自我改進(jìn),但它們并沒有改變方法論。我們正在擴大研發(fā)實踐和工具的算力投入,但收益在遞減。智能體將成為我們共事的自主實體,它們感覺像是天才與5歲小孩的混合體。這種“有損”的進(jìn)步足以讓行業(yè)超速運轉(zhuǎn),但不足以支撐一場瞬間爆發(fā)的智能爆炸。

本文編譯自substack,原文作者Nathan Lambert

https://substack.com/@natolambert/p-191707266

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點推薦
太陽報:大量槍迷想搶票見證奪冠,西漢姆聯(lián)嚴(yán)查主隊看臺購票

太陽報:大量槍迷想搶票見證奪冠,西漢姆聯(lián)嚴(yán)查主隊看臺購票

懂球帝
2026-03-26 13:21:13
學(xué)醫(yī)后才知道,保護心血管最好的運動,不是快走慢跑,而是這個

學(xué)醫(yī)后才知道,保護心血管最好的運動,不是快走慢跑,而是這個

垚垚分享健康
2026-03-26 13:09:39
三觀盡毀!蘿莉島新照片流出,辦公桌下趴著妙齡女郎,不堪入目!

三觀盡毀!蘿莉島新照片流出,辦公桌下趴著妙齡女郎,不堪入目!

川渝視覺
2026-02-09 10:43:27
3-1拿下陳熠,最后一個世乒賽名額到手,王藝迪笑到了最后

3-1拿下陳熠,最后一個世乒賽名額到手,王藝迪笑到了最后

眼界縱橫
2026-03-26 23:25:59
“公路閃電”終于換代,但我覺得不如豐田

“公路閃電”終于換代,但我覺得不如豐田

差評XPIN
2026-03-26 09:57:20
中日48小時交鋒:日企被排除,東京降級對華關(guān)系

中日48小時交鋒:日企被排除,東京降級對華關(guān)系

星落山間
2026-03-25 14:12:01
第86輪打擊來襲!打擊力度升級,以色列海軍基地遭摧毀,川普讓步

第86輪打擊來襲!打擊力度升級,以色列海軍基地遭摧毀,川普讓步

愛吃醋的貓咪
2026-03-26 22:25:02
幾乎全是假貨!利潤高達(dá)2400%,咋消費者還前赴后繼爭相購買?

幾乎全是假貨!利潤高達(dá)2400%,咋消費者還前赴后繼爭相購買?

夢史
2026-01-07 10:08:05
女大學(xué)生住院做檢查,報告竟是假的!珠海中山五院等多方回應(yīng)

女大學(xué)生住院做檢查,報告竟是假的!珠海中山五院等多方回應(yīng)

南方都市報
2026-03-24 12:42:25
大眾中國回應(yīng)斯柯達(dá)退出中國市場

大眾中國回應(yīng)斯柯達(dá)退出中國市場

澎湃新聞
2026-03-26 17:33:03
男女約會隱秘又安全的12個地方,有6個場合你根本想不到

男女約會隱秘又安全的12個地方,有6個場合你根本想不到

聰明小石頭
2026-03-21 09:13:42
70歲陳寶國現(xiàn)狀:頭發(fā)胡子全白,老到認(rèn)不出,大齡兒子是他的煩惱

70歲陳寶國現(xiàn)狀:頭發(fā)胡子全白,老到認(rèn)不出,大齡兒子是他的煩惱

白面書誏
2026-03-24 18:23:07
小區(qū)樓上天天晚上都有女的大聲叫。。。

小區(qū)樓上天天晚上都有女的大聲叫。。。

微微熱評
2025-12-24 00:26:04
男同胞們別嘴硬,老實回答!

男同胞們別嘴硬,老實回答!

小光侃娛樂
2026-03-07 13:15:07
房價上漲的最強信號!

房價上漲的最強信號!

米宅
2026-03-24 07:26:02
諾基亞6600內(nèi)置無人機,這設(shè)計必須封神

諾基亞6600內(nèi)置無人機,這設(shè)計必須封神

3C毒物
2026-02-27 15:25:40
還記得20年前的《故事會》嗎?廣告不堪入目,簡直是個紙上"暗網(wǎng)"!

還記得20年前的《故事會》嗎?廣告不堪入目,簡直是個紙上"暗網(wǎng)"!

神奇故事
2026-03-17 23:54:32
漢武帝用一場血腥清算告訴后人,為什么最該死的永遠(yuǎn)是中間派!

漢武帝用一場血腥清算告訴后人,為什么最該死的永遠(yuǎn)是中間派!

掠影后有感
2026-03-26 10:50:33
伊朗格斗冠軍被捕!或被截肢+判處死刑 曾來中國參賽 擊敗5大高手

伊朗格斗冠軍被捕!或被截肢+判處死刑 曾來中國參賽 擊敗5大高手

念洲
2026-03-25 17:59:21
一夜暴跌25%!小馬哥最怕的事還是發(fā)生了:年輕人正在從騰訊溜走

一夜暴跌25%!小馬哥最怕的事還是發(fā)生了:年輕人正在從騰訊溜走

潮鹿逐夢
2026-03-21 11:54:42
2026-03-27 00:20:49
Trend求索
Trend求索
大趨勢深刻求索
72文章數(shù) 16關(guān)注度
往期回顧 全部

科技要聞

美團發(fā)布外賣大戰(zhàn)后成績單:虧損超200億

頭條要聞

張雪峰留巨額遺產(chǎn):二婚妻子或拿50% 剩下的女兒占1/3

頭條要聞

張雪峰留巨額遺產(chǎn):二婚妻子或拿50% 剩下的女兒占1/3

體育要聞

申京努力了,然而杜蘭特啊

娛樂要聞

劉曉慶妹妹發(fā)聲!稱姐姐受身邊人挑撥

財經(jīng)要聞

油價"馴服"特朗普?一到100美元就TACO

汽車要聞

一汽奧迪A6L e-tron開啟預(yù)售 CLTC最大續(xù)航815km

態(tài)度原創(chuàng)

手機
教育
親子
旅游
軍事航空

手機要聞

OPPO K15 Pro 系列定檔,嵐影呼吸燈搭配金屬中框

教育要聞

天天學(xué)習(xí)|走進(jìn)課堂的“大朋友”

親子要聞

看看把孩子嚇得哈哈哈

旅游要聞

3月26日最佳情報|郊野公園楊柳依依,櫻花爛漫醉游人!恭喜

軍事要聞

擔(dān)心特朗普突然停戰(zhàn) 以總理下令48小時盡力摧毀伊設(shè)施

無障礙瀏覽 進(jìn)入關(guān)懷版