作者 | 超對稱技術(shù)

出品丨AI 科技大本營（ID：rgznai100）

超對稱公司成功在 BigBang-Proton 實現(xiàn)跨尺度跨結(jié)構(gòu)的科學(xué)多任務(wù)學(xué)習(xí)，并從這個基礎(chǔ)出發(fā)提出將科學(xué)多任務(wù)學(xué)習(xí)擴展到極限，就是將宇宙當(dāng)做一個完整整體進行預(yù)訓(xùn)練，進而提出宇宙尺度壓縮 Universe Compression 的構(gòu)想。本文將從多個方面論證這個構(gòu)想的科學(xué)基礎(chǔ)，工程可行性，以及科學(xué)意義。

Scientific Multitask Learning 是通往宇宙尺度壓縮的基石

傳統(tǒng)的 LLM 開發(fā)的觀點認(rèn)為，DNA 序列、數(shù)學(xué)方程式、水質(zhì)數(shù)據(jù)、粒子噴注、材料結(jié)構(gòu)這多學(xué)科的數(shù)據(jù)相互比較差異太大，與自然語言相比差異更大，放在一起訓(xùn)練不可能收斂，loss 無法下降。

BigBang-Proton 的預(yù)訓(xùn)練過程顯示，高度異質(zhì)的數(shù)據(jù)集在正確的表征和合適的架構(gòu)上可以收斂，這就預(yù)示了跨尺度、跨結(jié)構(gòu)、跨學(xué)科的數(shù)據(jù)集，在高維度 latent space 中可以產(chǎn)生遷移學(xué)習(xí)。

ChatGPT 展示“寫出李清照風(fēng)格的代碼”以及 Dalle 畫出“騎馬的宇航員”是典型的遷移學(xué)習(xí)的結(jié)果，在語言和藝術(shù)領(lǐng)域?qū)覍易屓梭@訝，但在科學(xué)領(lǐng)域遷移學(xué)習(xí)至今未有成功案例，原因就是科學(xué)領(lǐng)域的多任務(wù)學(xué)習(xí)（multitask learning）在預(yù)訓(xùn)練上沒有進展。相比于語言和藝術(shù)，科學(xué)的遷移學(xué)習(xí)的價值要大得多。大腦的神經(jīng)元是否發(fā)生了量子力學(xué)過程，研究這樣的問題正需要多學(xué)科的遷移學(xué)習(xí)。

超對稱團隊將算術(shù)運算能力作為科學(xué)多任務(wù)學(xué)習(xí)的核心，因為實驗結(jié)果主要是數(shù)值形式的。BigBang-Proton 驗證了夸克衰變產(chǎn)生的粒子噴注、材料結(jié)構(gòu)、水質(zhì)、DNA 序列、傳感器、股價、算術(shù)運算這些高度異質(zhì)的數(shù)據(jù)集可以收斂，則將宇宙視為一個統(tǒng)一的實體來進行訓(xùn)練和推理就已經(jīng)沒有障礙。這樣的科研范式融合了還原論和涌現(xiàn)輪兩種方法論。

Scaling Law 的邊界

在語言和專用科學(xué)多任務(wù)數(shù)據(jù)集上的預(yù)訓(xùn)練能夠平滑收斂，這表明大語言模型（LLMs）的 Scaling Law 可以超越語言范疇，延伸至物理世界。那么 Scaling Law 的邊界是什么?

柏拉圖表征、數(shù)據(jù)空間流形與宇宙流形

Minyoung Huh 等作者提出柏拉圖表征（Platonic Representation Hypothesis）， 他們統(tǒng)計了數(shù)百個在不同深度網(wǎng)絡(luò)架構(gòu)和模態(tài)(圖像和文本)上訓(xùn)練的 AI 模型，發(fā)現(xiàn)這些模型傾向于在其表征空間中收斂到一個相近的統(tǒng)計結(jié)果，這種統(tǒng)計結(jié)果是對現(xiàn)實的映射。他們假設(shè)這種收斂會到達一個理想化現(xiàn)實的表征，稱為柏拉圖表征，這一術(shù)語參考了柏拉圖在《理想國》中的洞穴寓言。

BigBang-Proton 在跨尺度跨結(jié)構(gòu)跨學(xué)科預(yù)訓(xùn)練上的進展和柏拉圖的表征相互印證。物質(zhì)世界，或者說宇宙本身，構(gòu)成了柏拉圖表征中的理想化現(xiàn)實，而物理學(xué)、化學(xué)和生物學(xué)中的所有科學(xué)定律都是從特定視角對這一現(xiàn)實的統(tǒng)計反映。

物質(zhì)世界是一個單一的、統(tǒng)一的實體，由于人類腦力和資源有限才將科學(xué)探索的對象劃分為不同學(xué)科。宇宙起源于 137 億年前的大爆炸，演化過程中不同尺度涌現(xiàn)出不同的物質(zhì)結(jié)構(gòu)，最終形成其當(dāng)前狀態(tài)，演化過程產(chǎn)生了人類文明，人類語言從中涌現(xiàn)并通過互聯(lián)網(wǎng)被記錄下來。在全部互聯(lián)網(wǎng)數(shù)據(jù)上訓(xùn)練的主流 LLMs，僅捕獲了嵌入在物質(zhì)世界中的信息的一小部分。

與普遍認(rèn)為由于可用互聯(lián)網(wǎng)數(shù)據(jù)耗盡，基座 LLM 預(yù)訓(xùn)練已觸及瓶頸的判斷相反，超對稱團隊從 BigBang-Proton 的工作中得出結(jié)論：預(yù)訓(xùn)練的極限最終就是宇宙本身的極限。由此超對稱團隊提出了柏拉圖表征的宇宙和文明版本，即只要有足夠的資源，在整個宇宙歷史和人類文明所產(chǎn)生的全部數(shù)據(jù)上進行預(yù)訓(xùn)練單一模型，模型將收斂到一個植根于大爆炸和支配宇宙起源的基本定律的表征，即信息與物質(zhì)的交匯點，因為我們今天所居住的物質(zhì)世界正是從那個奇點衍生而來的。

圖：

宇宙尺度的預(yù)訓(xùn)練收斂到基本物理定律，從宇宙的演化和科學(xué)發(fā)展歷史可看出來。超對稱假設(shè)，在人類文明產(chǎn)生的完整數(shù)據(jù)上訓(xùn)練的模型傾向于收斂到基本自然定律，而在自然界和宇宙演化產(chǎn)生的完整數(shù)據(jù)上訓(xùn)練的模型傾向于收斂到基本物理定律。在一個從宇宙完整歷史產(chǎn)生的數(shù)據(jù)上訓(xùn)練的單一模型，傾向于收斂到大爆炸時刻、奇點處的基本物理定律以及信息與物質(zhì)的交匯點。

假設(shè) 1 | 自回歸LLMs 的縮放定律尚未觸及瓶頸。LLMs 縮放的極限是宇宙的終極邊界。LLMs 的縮放最終將收斂到大爆炸時刻的基本物理定律以及信息與物質(zhì)的交匯點。

為什么我們所處的世界具有隨機性和不確定性，所以我們需要用統(tǒng)計的工具來理解現(xiàn)實？現(xiàn)實的內(nèi)在統(tǒng)計性質(zhì)源于量子力學(xué)，起源于大爆炸期間的量子漲落。這些漲落驅(qū)動了跨越宇宙和物質(zhì)尺度的層級結(jié)構(gòu)形成。統(tǒng)計力學(xué)在不同的物質(zhì)尺度之間架起橋梁，熱力學(xué)熵揭示了概率分布如何構(gòu)成物理系統(tǒng)中相變的基礎(chǔ)。而和熱力學(xué)熵平行的信息熵，則揭示了語言的結(jié)構(gòu)源于概率分布。

從前沿物理學(xué)的視角，熱力學(xué)熵和信息熵可以相互轉(zhuǎn)換，給我們理解自然語言提供另一個角度。人類語言也是物質(zhì)世界的一部分，語言的概率分布來自人類在物理世界活動形成一種模式，最終是空間、時間和能量等自由度的組合和波動在現(xiàn)實中的投射;字、詞、語法、段落所包含的人類智能的邏輯，是從時空和能量的海量排列中涌現(xiàn)，形成的一個由自由能最小化支配的系統(tǒng)。從能量角度理解語言則能解釋為什么 BigBang-Proton 在結(jié)合語言的多學(xué)科預(yù)訓(xùn)練能收斂。

LLMs 在預(yù)訓(xùn)練過程近似模擬總體語言概率分布，這些分布在數(shù)百萬年的時間里被精煉，以編碼時間、空間和能量關(guān)系。BigBang-Neutron 和 BigBang-Proton 的工作都表明，當(dāng)映射到高維 latent space 時，這些語言分布與基本物理結(jié)構(gòu)(如粒子對撞、材料晶體晶格、DNA 序列和水的時空模式)可緊密對齊。這種對齊使得語言引導(dǎo)的科學(xué)計算成為可能，并促進了科學(xué)領(lǐng)域間的遷移學(xué)習(xí)。這使得 LLMs 不僅僅是語言模式學(xué)習(xí)者，更可以延伸至物理世界來重構(gòu)現(xiàn)實。

圖：

將多學(xué)科數(shù)據(jù)和自然語言投射到同一個 embedding space 中實現(xiàn)了收斂。訓(xùn)練收斂圖中所示的收斂驗證了自然語言和看似高度不同的科學(xué)領(lǐng)域共享一種相近的統(tǒng)計結(jié)果，其本質(zhì)可能根植于量子力學(xué)和其他基本物理原理。這一見解啟發(fā)超對稱團隊在構(gòu)建表征和模型時將宇宙視為一個統(tǒng)一的實體。

深度學(xué)習(xí)中的流形假設(shè) Manifold Hypothesis 可幫助我們進一步理解在整個宇宙數(shù)據(jù)上進行預(yù)訓(xùn)練如何收斂到基本物理定律，并實現(xiàn)跨領(lǐng)域表征遷移。該假設(shè)認(rèn)為，當(dāng)嵌入到高維環(huán)境空間 RD 中時，真實世界的數(shù)據(jù)會集中在遠(yuǎn)低于維度的流形 M 附近，這一說法得到了理論研究和實證研究的支持。流形學(xué)習(xí)也在大語言模型中得到了研究。根據(jù)流形假設(shè)的聯(lián)合，宇宙尺度預(yù)訓(xùn)練中跨任務(wù)、學(xué)科、空間尺度和物理結(jié)構(gòu)的低維結(jié)構(gòu)形成流形，并收斂到一個不連通流形的聯(lián)合。這種流形的收斂可能對應(yīng)于基本的宇宙流形，并與宇宙全息原理相一致。全息原理指出宇宙的完整物理描述可以從其邊界表征中涌現(xiàn)。

早在 1989 年，物理學(xué)家約翰. 惠勒提出了著名的 It from Bit，即粒子無限細(xì)分的盡頭是比特，而惠勒的學(xué)生貝肯斯坦和霍金研究黑洞輻射時提出了 Bekenstein Bound， 即黑洞熵的上限與表面積而非體積成正比。這啟發(fā)了't Hooft 首次假設(shè)，在普朗克尺度下，3+1 時空維度會減為 2+1，即“世界即全息圖”假說，此假說得到反德西特空間與共形場論(AdS/CFT)對應(yīng)關(guān)系的支持，這屬于量子引力的研究范疇。

而降維正是流形學(xué)習(xí)的一種基本能力的目標(biāo)。在宇宙尺度數(shù)據(jù)進行預(yù)訓(xùn)練，模型可能學(xué)習(xí)到普朗克尺度的時空結(jié)構(gòu)，并揭示量子引力層面的隱藏定律。這種時空結(jié)構(gòu)學(xué)習(xí)遠(yuǎn)遠(yuǎn)超出當(dāng)前基于圖像學(xué)習(xí)的空間智能和世界模型范式。

貝肯斯坦的工作也啟發(fā)了 computational universe 領(lǐng)域的研究，基本的概念是，物質(zhì)和信息可以互相轉(zhuǎn)換。物理學(xué)的前沿理論帶來了哲學(xué)上的熱潮，硅谷核心文化圈有一種哲學(xué)認(rèn)為現(xiàn)實世界來自 simulation，深受哲學(xué)家 Nick Bostrom， 馬斯克熱追，以至于形成了 simulation 宗教的說法。

因此，用計算對整個宇宙進行模擬并不遙遠(yuǎn)，這是前沿物理學(xué)研究了接近半個世紀(jì)的課題，也具有深層的社會文化基礎(chǔ)。而超對稱公司提出用自回歸 LLM 對物質(zhì)世界進行壓縮，是對 computational universe 和 simulation hypothesis 的一次實踐。當(dāng)前熱議的用 AI 來開發(fā)戴森球或近地軌道工業(yè)，被認(rèn)為遠(yuǎn)期未來才會落地，當(dāng) LLM 壓縮的尺度從地球擴展到星系和整個可觀測宇宙，這些工作就變得可著手。

考慮到物理約束，包括光速、自由度和 Bekenstein Bound， Lloyd 計算了宇宙的總信息容量。宇宙包含大約 個重子，并且最多可以容納 比特的信息，當(dāng)考慮引力時，最多可以執(zhí)行 次浮點邏輯運算。

Sutskever 引入了數(shù)據(jù)壓縮和柯爾莫哥洛夫復(fù)雜度作為解釋無監(jiān)督學(xué)習(xí)泛化的數(shù)學(xué)形式主義。假設(shè)將宇宙中所有重子的自由度信息轉(zhuǎn)換為一個二進制字符串。令 為編碼 個重子的自由度 (包括位置、動量和自旋, 存儲在 比特中) 的二進制字符串，其中 通過以下方式生成:

其中 L = 作為壓縮算法的基座 LLM；Y= 基于尺度、結(jié)構(gòu)和學(xué)科的完整科學(xué)知識作為約束， = 初始條件。沒有 Y 時，由完全隨機重子組成的 X 接近最大熵：

其中 是來自全息原理的宇宙總信息熵界：

使用宇宙學(xué)參數(shù): , , 。

當(dāng) Y 施加來自量子力學(xué)、廣義相對論、流體動力學(xué)或蛋白質(zhì)結(jié)構(gòu)的約束，規(guī)定粒子如何相互作用和分布時，復(fù)雜度會急劇降低：

給定完整物理定律 Y 的條件柯爾莫哥洛夫復(fù)雜度 滿足：

其中 是二元熵函數(shù)。對于宇宙尺度的 , 這簡化為:

基本比率 可以作為科學(xué)發(fā)現(xiàn)的指標(biāo)。由于將 LLM 預(yù)訓(xùn)練擴展到宇宙尺度將匹配宇宙的復(fù)雜性，當(dāng)計算復(fù)雜度和問題可驗證度都可通過一個統(tǒng)一模型可獲得, 這個模型也可能為 P 與 NP 問題提供一種新的理解。

宇宙尺度的壓縮

在理論上，超對稱團隊提出了以下宇宙尺度壓縮的計劃，暫不考慮現(xiàn)實中計算資源和數(shù)據(jù)的挑戰(zhàn)，以在一個二進制序列中重建物理世界。首先，建立一個統(tǒng)一的時空框架，跨越宇宙、星系、地球到夸克尺度，將每個自由度置于一個一致的時空結(jié)構(gòu)中。其次，整合人類科學(xué)探究在所有尺度、結(jié)構(gòu)和學(xué)科上產(chǎn)生的所有理論和實驗數(shù)據(jù)，這相當(dāng)于整個可觀測宇宙歷史的總數(shù)據(jù)內(nèi)容。最后，通過整合所有天然材料和人造物體及活動（包括建筑、城市、工廠、車輛、飛機以及經(jīng)濟、政治、戰(zhàn)爭等）的數(shù)據(jù)，從重子組分中重建地球和人類文明。

BigBang-Proton 的創(chuàng)新為宇宙尺度數(shù)據(jù)的預(yù)訓(xùn)練提供了不可或缺的方法論。二進制塊編碼為自然界和人類活動中的超復(fù)雜模態(tài)提供了一種簡單、統(tǒng)一且有效的分詞方法。理論-實驗學(xué)習(xí)范式將由自然語言表示的理論知識與由數(shù)值數(shù)據(jù)表示的大規(guī)模實驗數(shù)據(jù)相融合。Monte Carlo Attention 提供了與宇宙中重子數(shù)量 相當(dāng)?shù)纳舷挛拈L度。

通過將宇宙視為一個單一、連貫的實體，并在宇宙尺度數(shù)據(jù)上預(yù)訓(xùn)練一個大型語言模型，可以推動科學(xué)發(fā)現(xiàn)的范式轉(zhuǎn)變。這種方法將構(gòu)建一個統(tǒng)一的高維表征空間，捕捉物理現(xiàn)實的全部復(fù)雜性，并實現(xiàn)跨尺度、結(jié)構(gòu)和學(xué)科的深度類比的涌現(xiàn)。這樣的框架將揭示結(jié)構(gòu)的同質(zhì)性，例如對偶性、對稱性和相變，這些現(xiàn)象從量子場到數(shù)和幾何結(jié)構(gòu)中反復(fù)出現(xiàn)，反映了數(shù)學(xué)、物理、化學(xué)和生物學(xué)中的深刻統(tǒng)一，例如朗蘭茲綱領(lǐng)、波粒二象性、材料晶體和海洋流中的拓?fù)浣Y(jié)構(gòu)。在早期宇宙、超導(dǎo)體、生物大腦和 LLMs 中出現(xiàn)的相變和臨界現(xiàn)象表明了一個共享的統(tǒng)計力學(xué)基礎(chǔ)。

智能是宇宙演化產(chǎn)生的系統(tǒng)，反映了宇宙本身。不將智能置于宇宙演化的背景下，我們就無法理解智能的真正原因和底層機制。宇宙尺度壓縮的收斂可以進一步揭示智能與物質(zhì)世界和宇宙這個智能演化的大舞臺之間深層次的關(guān)系。只有理解這種深層次的關(guān)系，我們才能真正意義創(chuàng)造出新的智能。

基于 BigBang-Proton 的工作和以上分析，超對稱團隊提出第二個假設(shè)。

假設(shè) 2 | 僅通過“下一個詞預(yù)測”，就可以從微觀粒子尺度重建宇宙中存在的任何物理結(jié)構(gòu)。

這個假設(shè)推動超對稱的下一步工作，即在一個具有增強語言推理能力的單一 BigBang 模型中模擬更復(fù)雜的物理結(jié)構(gòu)，包括大爆炸核合成、核聚變、量子材料、虛擬細(xì)胞系統(tǒng)、地球系統(tǒng)、機器人技術(shù)和飛機。前面五種是典型的自然界的物質(zhì)結(jié)構(gòu)，而對于人造結(jié)構(gòu)如機器人和飛機汽車這樣的精密機械，BigBang 模型也有天然優(yōu)勢。對物質(zhì)世界進行全面壓縮可以將具身智能的兩大核心即高精度環(huán)境和感知、推理、計劃、決策能力通過 next-word-prediction 整合在同一個隱空間，極大提高具身智能的泛化能力，這也是當(dāng)前行業(yè)的難點。

對于飛機、汽車、船艦等精密復(fù)雜機械，BigBang 可以從原子尺度復(fù)建原材料、零部件、組裝的結(jié)構(gòu)，將上千萬零部件以及操控其運行的物理化學(xué)生物原理整合在同一個隱空間，從原子層級上加速復(fù)雜裝備的設(shè)計、生產(chǎn)和迭代。

開源鏈接：

論文 | https://arxiv.org/abs/2510.00129

GitHub | https://github.com/supersymmetry-technologies/BigBang-Proton

HuggingFace | https://huggingface.co/SuperSymmetryTechnologies/BigBang-Proton

* 本文為 BigBang-Proton 系列報道第三篇。歡迎回顧前兩篇文章，對這個項目進行更全面的了解。