導(dǎo)語

2018年，崔鵬教授團(tuán)隊開創(chuàng)性地提出“因果啟發(fā)的穩(wěn)定學(xué)習(xí)”新范式，為AI模型的可靠性和泛化性研究奠定重要理論基礎(chǔ)。最近，團(tuán)隊將研究團(tuán)隊將該理論應(yīng)用在結(jié)構(gòu)化數(shù)據(jù)通用大模型領(lǐng)域，發(fā)布了“極數(shù)”（LimiX）通用大模型?！皹O數(shù)”大模型可以助力AI深度融入工業(yè)生產(chǎn)全流程，特別是結(jié)構(gòu)化數(shù)據(jù)占主導(dǎo)的泛工業(yè)領(lǐng)域，降低其AI使用門檻，破解工業(yè)數(shù)據(jù)價值挖掘難題，為實現(xiàn)智能制造與新型工業(yè)化提供關(guān)鍵支撐，推動產(chǎn)業(yè)技術(shù)變革和優(yōu)化升級。

“極數(shù)”大模型已開源，前往了解：https://limix-ldm.github.io

關(guān)鍵詞：結(jié)構(gòu)化數(shù)據(jù)，穩(wěn)定學(xué)習(xí)，因果推斷，分布外泛化，極數(shù)大模型

許咪丨作者

AI科技評論丨來源

2025 年 8 月 29 日，由清華大學(xué)計算機系崔鵬教授團(tuán)隊聯(lián)合穩(wěn)準(zhǔn)智能共同研發(fā)的結(jié)構(gòu)化數(shù)據(jù)通用大模型“極數(shù)” （LimiX）正式宣布開源。此次發(fā)布標(biāo)志著我國在結(jié)構(gòu)化數(shù)據(jù)智能處理領(lǐng)域的技術(shù)突破與生態(tài)開放邁出關(guān)鍵一步，將顯著降低千行百業(yè)應(yīng)用結(jié)構(gòu)化數(shù)據(jù) AI 技術(shù)的門檻。特別是在結(jié)構(gòu)化數(shù)據(jù)占主導(dǎo)的泛工業(yè)領(lǐng)域，“極數(shù)”大模型將助力AI深度融入工業(yè)生產(chǎn)全流程，破解工業(yè)數(shù)據(jù)價值挖掘難題，為實現(xiàn)智能制造與新型工業(yè)化提供關(guān)鍵支撐，推動產(chǎn)業(yè)技術(shù)變革和優(yōu)化升級。

在泛工業(yè)領(lǐng)域，結(jié)構(gòu)化數(shù)據(jù)是核心資產(chǎn)——工業(yè)生產(chǎn)參數(shù)、設(shè)備運行數(shù)據(jù)、質(zhì)量檢測數(shù)據(jù)、科研實驗數(shù)據(jù)等均以結(jié)構(gòu)化數(shù)據(jù)形式呈現(xiàn)，其智能處理能力直接影響產(chǎn)業(yè)效率與科研突破，也是 AI 賦能工業(yè)制造的關(guān)鍵突破口。雖然通用大語言模型（LLM）憑借強大的文本理解與生成能力，已在內(nèi)容創(chuàng)作、對話交互等領(lǐng)域?qū)崿F(xiàn)廣泛應(yīng)用，但 LLM 在面對表格、時序等結(jié)構(gòu)化數(shù)據(jù)時短板明顯：數(shù)值比較、計算等基礎(chǔ)任務(wù)易出偏差，更無法勝任數(shù)據(jù)分類、預(yù)測、歸因等復(fù)雜任務(wù)，準(zhǔn)確率難以滿足真實行業(yè)需求。因此，目前工業(yè)結(jié)構(gòu)化數(shù)據(jù)處理依然依賴私有數(shù)據(jù)+專用模型的傳統(tǒng)范式。由于專用模型難泛化、不通用，面對不同場景需要訓(xùn)練多個專用模型，成本高、效果差，且難以發(fā)揮數(shù)據(jù)要素聚集的乘數(shù)效應(yīng)，嚴(yán)重制約了AI在工業(yè)場景的落地路徑。

結(jié)構(gòu)化數(shù)據(jù)通用大模型（Large Data Model, LDM）則針對性解決這一痛點：不同于 LLM 聚焦文本，LDM 融合結(jié)構(gòu)因果推斷與預(yù)訓(xùn)練大模型技術(shù)，既能捕捉結(jié)構(gòu)化數(shù)據(jù)的內(nèi)在關(guān)聯(lián)，又具備強泛化能力，可跨行業(yè)適配多類任務(wù)?！皹O數(shù)”大模型可以支持分類、回歸、高維表征抽取、因果推斷等多達(dá)10類任務(wù)，在工業(yè)時序預(yù)測、異常數(shù)據(jù)監(jiān)測、材料性能預(yù)測等場景中，性能達(dá)到甚至超越最優(yōu)專用模型，實現(xiàn)單一模型適配多場景、多任務(wù)的通用性突破，為人工智能賦能工業(yè)提供了One-For-All解決方案。

從技術(shù)性能到產(chǎn)業(yè)落地，“極數(shù)”大模型的核心優(yōu)勢已得到充分驗證。在超過600個數(shù)據(jù)集上的十余項測試結(jié)果表明，“極數(shù)”大模型無需進(jìn)行二次訓(xùn)練，已經(jīng)在準(zhǔn)確率、泛化性等關(guān)鍵指標(biāo)上均能達(dá)到或超過專有SOTA模型。而在產(chǎn)業(yè)應(yīng)用層面，“極數(shù)”大模型已成功落地多個真實工業(yè)場景，無需訓(xùn)練、部署成本低、準(zhǔn)確率高、通用性強的特點獲得合作企業(yè)的高度認(rèn)可，成為推動工業(yè)數(shù)據(jù)價值轉(zhuǎn)化的實用型技術(shù)方案，正加速形成面向泛工業(yè)垂直行業(yè)核心業(yè)務(wù)場景的真正智能底座。

1. 研發(fā)團(tuán)隊

“極數(shù)”模型的研發(fā)核心力量，由清華大學(xué)計算機系崔鵬教授牽頭組建，團(tuán)隊匯聚了學(xué)術(shù)研究與產(chǎn)業(yè)落地的雙重優(yōu)勢，其技術(shù)突破背后是深厚的科研積淀與前瞻性的方向布局。

作為團(tuán)隊核心，崔鵬教授是我國數(shù)據(jù)智能領(lǐng)域的頂尖學(xué)者：他不僅是國家杰出青年科學(xué)基金獲得者，更以突出成果兩度斬獲國家自然科學(xué)二等獎，同時獲評國際計算機協(xié)會（ACM）杰出科學(xué)家，其學(xué)術(shù)影響力獲國際學(xué)界廣泛認(rèn)可。在基礎(chǔ)研究領(lǐng)域，崔鵬教授開創(chuàng)性提出“因果啟發(fā)的穩(wěn)定學(xué)習(xí)” 新范式，突破傳統(tǒng)機器學(xué)習(xí)在數(shù)據(jù)分布偏移場景下的性能局限，為 AI 模型的可靠性與泛化性研究奠定重要理論基礎(chǔ)。

百科詞條：穩(wěn)定學(xué)習(xí)

2022 年 OpenAI 推出 ChatGPT 引發(fā)大模型技術(shù)浪潮后，崔鵬教授敏銳洞察到結(jié)構(gòu)化數(shù)據(jù)方向大模型技術(shù)的發(fā)展?jié)摿?，迅速將研究方向從因果穩(wěn)定學(xué)習(xí)拓展至結(jié)構(gòu)化數(shù)據(jù)通用大模型（LDM）領(lǐng)域。依托既有理論積累，團(tuán)隊攻克結(jié)構(gòu)因果數(shù)據(jù)合成、模型結(jié)構(gòu)設(shè)計、跨場景泛化等核心難題，最終實現(xiàn)“極數(shù)” 模型在多領(lǐng)域任務(wù)中的性能突破，為此次開源奠定關(guān)鍵技術(shù)基礎(chǔ)。

2. 極數(shù)大模型簡介

“極數(shù)”大模型將多種能力集成到同一基礎(chǔ)模型中，包括：分類、回歸、缺失值插補、數(shù)據(jù)密度估計、高維表征抽取、數(shù)據(jù)生成、因果推斷、因果發(fā)現(xiàn)和分布外泛化預(yù)測等；在擁有優(yōu)秀結(jié)構(gòu)化數(shù)據(jù)建模性能的同時，極大提高了模型的通用性。

在預(yù)訓(xùn)練階段，“極數(shù)”大模型基于海量因果合成數(shù)據(jù)學(xué)習(xí)數(shù)據(jù)中的因果關(guān)系，不同于專用模型在訓(xùn)練階段記憶住數(shù)據(jù)特征的模式，“極數(shù)”大模型可以直接在不同的上下文信息中捕捉因果變量，并通過條件掩碼建模的方式學(xué)習(xí)數(shù)據(jù)的聯(lián)合分布，以適應(yīng)包括分類、回歸、缺失值預(yù)測、數(shù)據(jù)生成、因果推斷等各種下游任務(wù)。在推理階段，極數(shù)可直接基于提供的上下文信息進(jìn)行推理，無需訓(xùn)練即可直接適用于各種應(yīng)用場景。

模型技術(shù)架構(gòu)

“極數(shù)”大模型沿用了transformer架構(gòu)，并針對結(jié)構(gòu)化數(shù)據(jù)建模和任務(wù)泛化進(jìn)行了相關(guān)的優(yōu)化?！皹O數(shù)”大模型先對先驗知識庫中的特征和目標(biāo)分別進(jìn)行embedding；之后在主要模塊中，在樣本和特征維度上分別使用注意力機制，來聚焦關(guān)鍵樣本的關(guān)鍵特征。最終，提取到的高維特征被分別傳入regression head和classification head，實現(xiàn)對不同功能的支持。

訓(xùn)練數(shù)據(jù)構(gòu)建

不同于傳統(tǒng)的樹模型和基于transformer架構(gòu)的LLM，“極數(shù)”大模型在訓(xùn)練過程中完全使用生成數(shù)據(jù)，不依賴于任何真實世界的數(shù)據(jù)來源。為了使數(shù)據(jù)生成的過程高效且可控，團(tuán)隊使用了基于結(jié)構(gòu)因果圖的數(shù)據(jù)生成方式：采樣到的初始數(shù)據(jù)在有向無環(huán)圖上進(jìn)行傳播，通過復(fù)雜的邊映射和節(jié)點交互來模擬現(xiàn)實世界中不同的因果依賴關(guān)系；通過對因果圖上的生成數(shù)據(jù)進(jìn)行采樣，最終獲得訓(xùn)練數(shù)據(jù)中的特征和目標(biāo)。使用這種方法生成的數(shù)據(jù)，既實現(xiàn)了因果結(jié)構(gòu)上的多樣性，又保證了數(shù)據(jù)的可控性。

模型優(yōu)化目標(biāo)

通用結(jié)構(gòu)化數(shù)據(jù)大模型（LDM）需要在各種應(yīng)用場景的各種任務(wù)中通用，且具備無需進(jìn)行訓(xùn)練的數(shù)據(jù)建模能力。因此需要對數(shù)據(jù)的聯(lián)合分布進(jìn)行建模，以提高模型的通用性、增強對特征交互模式的建模能力。為此，“極數(shù)”大模型在模型優(yōu)化目標(biāo)設(shè)計中加入了掩碼重構(gòu)機制：在訓(xùn)練過程中，通過對隨機特征值進(jìn)行掩碼操作，模型將根據(jù)特征間的因果依賴關(guān)系，使用觀測到的特征來重構(gòu)缺失特征。通過引入掩碼預(yù)測，模型可以學(xué)習(xí)到數(shù)據(jù)特征的聯(lián)合分布，學(xué)習(xí)到更清晰且魯棒的決策邊界，提高對特征依賴關(guān)系的表示學(xué)習(xí)能力。為了更貼近真實場景中的缺失模式，“極數(shù)”大模型在三個維度上進(jìn)行了掩碼操作，分別是:

樣本維度掩碼：對于每一個樣本，隨機掩碼掉其中的某些特征。

特征維度掩碼：對于所有樣本，隨機掩碼掉其中的一個特征。

語義維度掩碼：關(guān)注高維上的相關(guān)性，將語義相關(guān)度高的特征中的某些特征隨機掩碼掉。

此外，“極數(shù)”大模型將特征缺失比例納入考量，通過設(shè)計針對每行或每個子集缺失的訓(xùn)練目標(biāo)，穩(wěn)定了模型在不同缺失程度下的推理性能，提高了對各類缺失模式的魯棒程度。

模型推理

在推理應(yīng)用環(huán)節(jié)，“極數(shù)”大模型具備極強的場景適配性與任務(wù)靈活性。該模型無需針對特定場景或任務(wù)進(jìn)行額外訓(xùn)練，即可直接接收表格、時序、圖等多形態(tài)結(jié)構(gòu)化數(shù)據(jù)輸入；用戶僅需明確分類預(yù)測、回歸預(yù)測、缺失值補全、數(shù)據(jù)生成、因果推斷、因果發(fā)現(xiàn)等具體任務(wù)類型，模型即可自動完成數(shù)據(jù)解析、邏輯建模與結(jié)果輸出，真正實現(xiàn)即插即用模式，高效覆蓋各類結(jié)構(gòu)化數(shù)據(jù)處理需求。

此外，“極數(shù)”大模型還支持針對數(shù)據(jù)集進(jìn)行模型高效微調(diào)，可使模型學(xué)習(xí)更全面的數(shù)據(jù)中的因果聯(lián)系，在預(yù)測層面的性能會進(jìn)一步提升。

3. 模型效果

“極數(shù)”大模型在無需針對數(shù)據(jù)集進(jìn)行專項訓(xùn)練的情況下，在分類、回歸等多項結(jié)構(gòu)化數(shù)據(jù)核心任務(wù)上取得了優(yōu)異的性能表現(xiàn)。

模型評測方面，選取了各個領(lǐng)域的權(quán)威數(shù)據(jù)集作為Benchmark。如開源數(shù)據(jù)集Talent，它包含上百個真實數(shù)據(jù)集，是當(dāng)前領(lǐng)域內(nèi)體量最大、最具代表性的基準(zhǔn)之一。在分類任務(wù)中，對比“極數(shù)”與21個領(lǐng)域內(nèi)的常用baseline方法，“極數(shù)”大模型的模型性能顯著超越其他模型，在AUC、ACC、F1 Score和ECE上均取得了最優(yōu)。

在回歸任務(wù)上，“極數(shù)”大模型在R2和RMSE指標(biāo)上都達(dá)到了平均最優(yōu)，對比其他baseline方法展現(xiàn)出了明顯的優(yōu)勢。并且在數(shù)據(jù)集中有干擾特征或無效特征時，性能優(yōu)勢更加明顯。

4. 模型落地應(yīng)用

目前，“極數(shù)”大模型憑借其優(yōu)越的通用建模能力，有效破解了傳統(tǒng)專用模型在工業(yè)場景“數(shù)據(jù)稀缺、質(zhì)量參差、環(huán)境異質(zhì)”情況下的能力瓶頸，已在多個關(guān)鍵工業(yè)場景中成功落地。

在工業(yè)運維領(lǐng)域，“極數(shù)”大模型已成功應(yīng)用于鋼鐵、能源、電力等行業(yè)，扮演著“設(shè)備健康管家”的角色，為設(shè)備運行監(jiān)測、故障預(yù)警與健康度評估等任務(wù)提供核心支撐。以某鋼鐵企業(yè)為例，其復(fù)雜產(chǎn)線長期面臨難以從海量傳感數(shù)據(jù)中精準(zhǔn)捕捉非典型異常信號而導(dǎo)致的預(yù)警失效問題，給安全生產(chǎn)帶來巨大隱患?！皹O數(shù)”大模型部署后，將設(shè)備故障預(yù)測準(zhǔn)確率在原專用模型基礎(chǔ)上提升了15%，達(dá)到應(yīng)用級要求，推動其維護(hù)模式從“事后維修”向“預(yù)測性維護(hù)”轉(zhuǎn)型，顯著提升了生產(chǎn)的安全性與運行效率。

在工藝優(yōu)化領(lǐng)域，“極數(shù)”大模型在化工、制造、生物等行業(yè)中則化身為“生產(chǎn)智囊”。在某材料研發(fā)企業(yè)，如何從海量物化特征中精準(zhǔn)識別關(guān)鍵因子，是提升材料設(shè)計效率的核心瓶頸?！皹O數(shù)”大模型成功篩選出少數(shù)核心優(yōu)化因子，在確保信息無損（R^2超過0.95）的前提下，將調(diào)控效率提升了5倍，為企業(yè)的降本增效與綠色生產(chǎn)提供了科學(xué)決策依據(jù)。

業(yè)內(nèi)專家表示，“極數(shù)”大模型的成功落地不僅驗證了通用建模技術(shù)在工業(yè)場景的適用性，更為解決工業(yè)數(shù)據(jù)應(yīng)用痛點提供了標(biāo)準(zhǔn)化解決方案，有望推動更多工業(yè)領(lǐng)域?qū)崿F(xiàn)智能化升級。

5. 開源地址

項目主頁：

https://limix-ldm.github.io

技術(shù)報告：

https://github.com/limix-ldm/LimiX/blob/main/LimiX_Technical_Report.pdf

Github：

https://github.com/limix-ldm/LimiX

Huggingface：

https://huggingface.co/stableai-org

Modelscope：

https://modelscope.cn/organization/stable-ai

6. 結(jié)語

在當(dāng)前人工智能的發(fā)展浪潮中，大語言模型（ LLM ）通過大規(guī)模預(yù)訓(xùn)練實現(xiàn)了“語義空間的通用世界模型”，而如何面向工業(yè)數(shù)據(jù)的獨特屬性，構(gòu)建“數(shù)據(jù)空間的通用世界模型”，已成為 AI 邁向產(chǎn)業(yè)縱深的關(guān)鍵命題。在這一目標(biāo)的驅(qū)動下，發(fā)展能夠跨場景、跨任務(wù)、跨環(huán)境的結(jié)構(gòu)化數(shù)據(jù)通用大模型（ LDM ）勢在必行。我國憑借豐富的工業(yè)數(shù)據(jù)資源與多元的應(yīng)用場景，有望在 LDM 領(lǐng)域打造出獨特的“非對稱競爭力”。清華大學(xué)團(tuán)隊此次開源發(fā)布的“極數(shù) ” 大模型，正是這一方向上的重要突破。期待以此為起點，共同迎接 LDM 的“ GPT-3 時刻”早日到來。

因果科學(xué)第五季

集智俱樂部聯(lián)合北京大學(xué)大數(shù)據(jù)科學(xué)研究中心博士研究生李昊軒、倫敦大學(xué)學(xué)院計算機博士研究生楊夢月，卡耐基梅隆大學(xué)和穆罕默德·本·扎耶德人工智能大學(xué)博士后研究員陳廣義共同發(fā)起。這是我們因果科學(xué)系列讀書會的第五季，旨在探討在大模型之后為何仍需“因果科學(xué)”？大模型如何推動因果科學(xué)的研究進(jìn)展？因果科學(xué)能否在推理能力、可解釋性和可信性等方面啟發(fā)更優(yōu)大模型的設(shè)計？以及因果科學(xué)的最新進(jìn)展如何在實際領(lǐng)域中應(yīng)用和落地？希望匯聚相關(guān)領(lǐng)域的學(xué)者，共同探討因果科學(xué)的發(fā)展和挑戰(zhàn)，推動學(xué)科發(fā)展。讀書會已完結(jié)，現(xiàn)在報名可加入社群并解鎖回放視頻權(quán)限。

詳情請見：

1.

2.

3.

4.

5.

6.

7.