Jay 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

勞動節(jié)，馬上100歲的vintage大模型也得勞動。

是的，有人給只有1930年知識的大模型，微調(diào)成軟件工程師了……

過程比想象中輕松，僅用250個(gè)訓(xùn)練樣本，強(qiáng)悍的老頭便解決了自己人生中的第一個(gè)編程問題——

給xarray庫打了個(gè)補(bǔ)丁。

一個(gè)連電視機(jī)都沒見過的AI，現(xiàn)在也開始跟Claude們「學(xué)壞」，要跟程序員搶飯碗了。（bushi）

中古硅基軟件工程師

先補(bǔ)充下背景，1930是誰？

這是最近爆火的「老頭AI」，全名叫talkie-1930-13b。

操盤手是AI研究員Nick Levine、多倫多大學(xué)副教授David Duvenaud，以及大家熟悉的那位——真·GPT系列之父Alec Radford。

而他們對老頭最有趣的設(shè)計(jì)，就是其訓(xùn)練數(shù)據(jù)有條鐵律：1931年1月1日之后的任何一個(gè)字，全部不準(zhǔn)進(jìn)！

是的，它不知道電視機(jī)，不知道互聯(lián)網(wǎng)，更不知道二戰(zhàn)怎么收場……

老頭的世界，永遠(yuǎn)停在了1930年12月31日的午夜。

但讓全網(wǎng)「癱軟」的點(diǎn)在于，就這么個(gè)老古董，當(dāng)扔給它一道Python編程題時(shí)，這個(gè)跨越近百年的「過去之靈」，竟然寫出了人生第一行Python代碼。

離離原上譜。

如今，老頭再次發(fā)力。

有人對Alec Radford的這個(gè)1930 vintage LLM做了微調(diào)，讓它去解SWE-bench上的真實(shí)軟件工程問題。

誰曾想，真讓老頭干成了。

250個(gè)訓(xùn)練樣本之后，它落地了第一個(gè)fix——一個(gè)針對xarray庫的小補(bǔ)丁。

百歲老人，硬核上崗。

對了，團(tuán)隊(duì)放出了老頭在落地這個(gè)xarray庫補(bǔ)丁的全過程。

說實(shí)話，如果以看前沿LLM的標(biāo)準(zhǔn)，這個(gè)demo看著真有點(diǎn)惱火。

一個(gè)簡單的問題，老頭足足花了49輪才搞定，又長又慢。

其中有些輪次實(shí)在看不下去了，真的太笨了，著急死了，但你又不好意思對老頭發(fā)脾氣。

但，這在某些時(shí)刻，反而讓人更興奮。跟看爽文一樣。

我舉個(gè)最「直接、不繞彎」的例子。（bushi）

老頭一開始其實(shí)搞砸了。

在第12輪對話的時(shí)候，它嘗試apply patch失敗了。

代碼可以報(bào)錯(cuò)，但，老兵不死。

老頭沒有放棄，它仍在繼續(xù)嘗試，直到終于意識到自己錯(cuò)在哪……

然后，在第44輪，它給修好了�。�

我知道，fix本身很簡單，別說AI SOTA了，代碼水平跟小白比估計(jì)都夠嗆。

但真正重要的，是老頭在整個(gè)解題過程中的思考。

這個(gè)過程展示出的那種推理能力，跟我們在現(xiàn)代模型上看到的如出一轍。

一個(gè)1930年的模型，也會試錯(cuò)，會反思，會自我修正。

demo之外，benchmark的表現(xiàn)同樣亮眼。

當(dāng)微調(diào)時(shí)的訓(xùn)練數(shù)據(jù)規(guī)模擴(kuò)展到大約75K條trajectory，也就是10億token的時(shí)候，模型在SWE-bench-Verified上達(dá)到了4.5%的pass@1。

要知道，它原來在HumanEval上才4%的pass@100。這進(jìn)步幅度相當(dāng)可觀。

雖然絕對值還很低，但對一個(gè)1930年知識模型來說，已經(jīng)很離譜了。

更有意思的是另一個(gè)對照實(shí)驗(yàn)。

事實(shí)上，團(tuán)隊(duì)還同時(shí)給老頭訓(xùn)練了一個(gè)兄弟模型，叫talkie-web，這個(gè)模型是在互聯(lián)網(wǎng)數(shù)據(jù)上預(yù)訓(xùn)練的。

同樣的微調(diào)配方，talkie-web在SWE-bench-Verified上的成績是5.5%的。

沒錯(cuò)，即便團(tuán)隊(duì)偏心，給孿生兄弟加上互聯(lián)網(wǎng)數(shù)據(jù)，也就比老頭高了1個(gè)百分點(diǎn)。

以上結(jié)果，歡迎復(fù)現(xiàn)。

這不是什么穿越爽文，團(tuán)隊(duì)已經(jīng)在GitHub上開源了項(xiàng)目，鏈接放在文章結(jié)尾，感興趣的朋友可以去跑跑看。

團(tuán)隊(duì)自己也很興奮，在README里喊話：

如果你手頭有更多算力，我們很想看到1930模型和互聯(lián)網(wǎng)模型在后訓(xùn)練持續(xù)擴(kuò)展時(shí)的完整scaling曲線對比。

想看想看，這可比單純秀肌肉的benchmark有意思多了。

什么是智能？

團(tuán)隊(duì)并沒有剖析背后的原因，但我看了不少網(wǎng)友在帖子下面的評論，覺得這是一個(gè)值得討論的話題。

我們一直以為，AI需要吃掉整個(gè)互聯(lián)網(wǎng)才能變聰明。

但如果一個(gè)只讀過1930年以前書的模型，經(jīng)過一點(diǎn)點(diǎn)后訓(xùn)練就能寫代碼修bug……

那我們對「什么是智能」的理解，是不是也得重新想想？

4.5%的pass@1，放在今天的SOTA面前當(dāng)然不夠看。但它證明的那件事，比任何benchmark分?jǐn)?shù)都重要。

一個(gè)1930年代的人，如果擁有幾乎相同的教育體系，完全可以理解現(xiàn)代軟件工程。

一百年前的數(shù)據(jù)量，加上正確的后訓(xùn)練方法，就足以產(chǎn)生現(xiàn)代意義上的推理。

智能的瓶頸，或許從來不在于預(yù)訓(xùn)練數(shù)據(jù)的多少。

你不需要一個(gè)訓(xùn)練過所有知識的模型，它只需要具備基本的語言理解能力，這就夠了。

或許，當(dāng)我們在Scaling路上一路狂奔的間隙，也可以稍微停一停，抬起頭來跟身邊人侃侃大山、扯扯淡——

誒，你說……
智能的本質(zhì)，到底是什么？

GitHub：
https://github.com/RicardoDominguez/talkie-coder

參考鏈接：
[1]
https://x.com/rdolmedo_/status/2050665193374732430?s=20
[2]
https://github.com/RicardoDominguez/talkie-coder