智東西
作者 云鵬
編輯 漠影

當(dāng)前，“龍蝦”火爆全球，從消費(fèi)者到企業(yè)，紛紛開始“養(yǎng)龍蝦”，但在部分提高效率的同時，這種AI智能體所帶來的問題也同樣突出。

除了數(shù)據(jù)安全，處理復(fù)雜任務(wù)分分鐘燒掉海量Token的問題也困擾不少用戶，干活一時爽，一看賬單傻眼。

海外有用戶曝出，他只是問了一句“你好”，模型進(jìn)行大量思考直接燒掉數(shù)十美元。

如果說個人場景尚且可以靈活處理，但企業(yè)級AI應(yīng)用落地，則必須要面對高Token消耗帶來的成本挑戰(zhàn)。

OpenClaw這類Agent其實只是AI的“手腳”，背后的模型才是真正的“大腦”，要解決高消耗高成本的問題，仍然要從核心的模型入手。

當(dāng)前企業(yè)在Agent模型底座的選擇上面臨著“兩難困境”，想要高智能，就必須面對成倍Token消耗，以及推理延遲的增加，而選擇低成本，則往往需要犧牲模型能力。

對企業(yè)來說，任何無效Token消耗都是真金白銀的流失，因此在當(dāng)下，模型效率已經(jīng)成為決定企業(yè)智能的核心要素。

近來，國內(nèi)AI大模型團(tuán)隊YuanLab.ai發(fā)布并開源了Yuan3.0 Ultra多模態(tài)基礎(chǔ)大模型，在國內(nèi)外引起較高關(guān)注。

發(fā)布當(dāng)天，其在GitHub上公布了完整的模型權(quán)重、代碼和技術(shù)報告：

「開源地址 」

GitHub項目：
https://github.com/Yuan-lab-LLM/Yuan3.0-Ultra
論文鏈接：
https://arxiv.org/abs/2601.14327

值得一提的是，這是當(dāng)前業(yè)界僅有的三個萬億級開源多模態(tài)大模型之一，其最核心的創(chuàng)新之處在于通過LAEP技術(shù)——基于學(xué)習(xí)的自適應(yīng)專家剪枝，在不破壞功能結(jié)構(gòu)的情況下剪除冗余，實現(xiàn)了33%的參數(shù)減少，且訓(xùn)練速度還暴漲了49%，輸出時間縮短14%的同時準(zhǔn)確率提高16%。

可以說是真正的魚和熊掌兼得，成本和智能“既要又要”。

從檢索增強(qiáng)生成、多模態(tài)文檔理解、表格數(shù)據(jù)分析、內(nèi)容摘要與工具調(diào)用等任務(wù)，Yuan3.0 Ultra在多個企業(yè)級AI常常面對的核心場景和難點方面表現(xiàn)突出。

在YuanLab.ai團(tuán)隊看來，效率不是成本優(yōu)化的“可選項”，而是模型能力的“組成部分”，他們的目標(biāo)就是讓企業(yè)能以更少的算力開銷，產(chǎn)生更大的智能。

Yuan3.0 Ultra證明了旗艦級智能可以通過更高效、更經(jīng)濟(jì)、更可控的方式實現(xiàn)，可以說給企業(yè)Agent落地提供了核心能力支撐。

一、三項關(guān)鍵技術(shù)創(chuàng)新背后，如何實現(xiàn)“有效思考”與“極致降本”？

26年初，YuanLab.ai團(tuán)隊就已經(jīng)發(fā)布了Yuan3.0 Flash模型，聚焦推理端效率，減少無效token消耗，通過RIRM、RAPO等核心技術(shù)創(chuàng)新打破了“高智能必須高Token消耗”的悖論，驗證了“更少算力，并不意味著更弱能力”。

而這次發(fā)布的Yuan 3.0 Ultra旗艦?zāi)Ｐ?，進(jìn)一步裁除冗余專家，讓模型結(jié)構(gòu)更加精煉，通過LAEP、LFA、RIRM等技術(shù)實現(xiàn)了“不需要無節(jié)制堆算力就能獲得更強(qiáng)智能”。

整體來看，Yuan 3.0 Ultra從預(yù)訓(xùn)練架構(gòu)、注意力機(jī)制到推理范式，進(jìn)行了全鏈路技術(shù)創(chuàng)新?；凇坝行伎肌奔夹g(shù)體系，其實現(xiàn)了“有效規(guī)模”的進(jìn)一步突破，可以說解決了大模型“參數(shù)虛高、算力浪費(fèi)、落地困難”的痛點。

具體來看，其核心突破點之一是自適應(yīng)專家裁剪算法（LAEP），簡單來說，專家不需要更多，而在于更有效。

如果把MoE架構(gòu)大模型比作一個百人研發(fā)團(tuán)隊，其核心優(yōu)勢本該是“專業(yè)分工、高效協(xié)作”，但在真實的工程實踐中，卻出現(xiàn)了嚴(yán)重的“團(tuán)隊管理失控”。

MoE大模型普遍存在預(yù)訓(xùn)練專家負(fù)載嚴(yán)重不均衡的問題，訓(xùn)練穩(wěn)定階段最高與最低專家負(fù)載差異可達(dá)近500倍。

少數(shù)專家承擔(dān)了絕大多數(shù)計算任務(wù)，而大量低貢獻(xiàn)專家長期處于低負(fù)載狀態(tài)，造成算力資源的嚴(yán)重浪費(fèi)，也導(dǎo)致模型參數(shù)虛高、利用效率低下，企業(yè)落地成本居高不下。

▲預(yù)訓(xùn)練過程中各層專家token分布的演化趨勢（左列）及穩(wěn)定階段負(fù)載分布（右列）

簡單來說：少數(shù)幾個專家干了絕大多數(shù)的活，部分專家全程“摸魚”。

行業(yè)主流MoE模型（Mixtral、DeepSeek-V3）普遍依賴輔助損失函數(shù)來約束專家利用率，“精度與均衡不可兼得”。

YuanLab.ai團(tuán)隊研發(fā)了自適應(yīng)專家裁剪算法（LAEP），基于MoE模型預(yù)訓(xùn)練過程中自然形成的專家功能專一化規(guī)律，動態(tài)識別并剔除低貢獻(xiàn)冗余專家，對模型結(jié)構(gòu)進(jìn)行自適應(yīng)裁剪與專家重排。

具體來說，就是“多勞多得”、“按勞分配”，計算資源傾斜給價值和貢獻(xiàn)更高的專家。

這一過程類比人類大腦學(xué)習(xí)過程中對神經(jīng)連接的優(yōu)化重組——保留高效信息處理通路，削弱低效連接，在維持甚至強(qiáng)化模型專業(yè)化能力的同時，提升算力利用效率。

從實際效果來看，預(yù)訓(xùn)練初始1515B參數(shù)優(yōu)化至1010B，參數(shù)規(guī)模減少33.3%；預(yù)訓(xùn)練算力效率提升49%、單次推理僅激活68.8B參數(shù)；性能方面也處于頭部陣營。

▲Yuan3.0 Ultra采用LAEP+專家重排機(jī)制有效提升機(jī)制訓(xùn)練效率

核心突破點之二，是語義建模能力升級，基于LFA技術(shù)強(qiáng)化長上下文語義關(guān)聯(lián)能力。

在企業(yè)實際應(yīng)用中，模型常常需要處理圖文混排的財報、多頁技術(shù)文檔、跨文檔知識檢索等復(fù)雜任務(wù)。這類場景對長上下文語義關(guān)聯(lián)能力要求極高——模型必須能從大量信息中精準(zhǔn)捕捉關(guān)鍵內(nèi)容，忽略無關(guān)干擾。

為此，Yuan3.0 Ultra引入了局部過濾注意力機(jī)制（Localized Filtering-based Attention，LFA），實現(xiàn)對語義關(guān)聯(lián)的精準(zhǔn)篩選與強(qiáng)化，有效過濾無效注意力干擾，提升模型對長上下文、復(fù)雜語義關(guān)系的建模能力，從而更準(zhǔn)確地理解各種信息來源的脈絡(luò)。

從實際效果來看，面對企業(yè)級場景中長上下文的圖文混排文檔解析、跨文檔知識檢索、多步驟Agent推理等需求，模型在長文本、復(fù)雜結(jié)構(gòu)信息處理中都能保持較高準(zhǔn)確率。

核心突破點之三，是升級“有效思考”范式，利用RIRM+RAPO技術(shù)體系，減少無效Token。這也是聚焦推理階段另一核心浪費(fèi)——大模型“過度反思”。

在Agent連續(xù)任務(wù)鏈中，大模型常常陷入“過度反思”——明明已經(jīng)得出正確答案，卻還要反復(fù)推敲，導(dǎo)致Token消耗成倍增加，響應(yīng)延遲拉長。這種無效反思在復(fù)雜任務(wù)中尤為突出，是企業(yè)級AI落地的一大成本黑洞。

Yuan3.0 Ultra從強(qiáng)化學(xué)習(xí)層面入手，通過RIRM+RAPO兩大技術(shù)創(chuàng)新根治這一頑疾：

反思抑制獎勵機(jī)制（RIRM）就是在萬億參數(shù)規(guī)模的大規(guī)模強(qiáng)化學(xué)習(xí)中，對反思次數(shù)引入精細(xì)化獎勵約束，教導(dǎo)模型在復(fù)雜企業(yè)級任務(wù)中，獲得可靠答案后主動停止無效反思，同時保留深度推理能力，從根本上修正“過度思考”行為。

▲采用優(yōu)化后的RIRM訓(xùn)練Yuan3.0 Ultra的動態(tài)過程，訓(xùn)練準(zhǔn)確率在整個訓(xùn)練過程中呈現(xiàn)穩(wěn)步上升趨勢，平均響應(yīng)長度隨著訓(xùn)練的進(jìn)行逐漸下降

反思感知自適應(yīng)策略優(yōu)化算法（RAPO）則針對萬億級MoE模型強(qiáng)化學(xué)習(xí)訓(xùn)練不穩(wěn)定、效率低的行業(yè)難題，完成了算法架構(gòu)的深度優(yōu)化，進(jìn)一步提升大規(guī)模MoE模型的訓(xùn)練穩(wěn)定性與訓(xùn)練效率。

總體來看，LAEP決定了模型“用多少有效參數(shù)去學(xué)”、LFA決定了模型“如何精準(zhǔn)捕捉有效信息”、RAPO保障了模型“如何穩(wěn)定高效地學(xué)習(xí)”、RIRM明確了模型“推理到什么程度該?！薄?/p>

YuanLab.ai團(tuán)隊一系列底層模型架構(gòu)創(chuàng)新，讓萬億級旗艦?zāi)Ｐ蛯崿F(xiàn)了“企業(yè)用得起、用得好、能落地”。

二、吃透企業(yè)AI應(yīng)用核心場景，五項關(guān)鍵能力出眾

諸多技術(shù)創(chuàng)新加持下，Yuan3.0 Ultra在大部分核心企業(yè)場景中都有出色表現(xiàn)，用團(tuán)隊的話來說，Yuan3.0 Ultra從設(shè)計階段就針對企業(yè)真實應(yīng)用場景進(jìn)行能力構(gòu)建，是一個能夠驅(qū)動復(fù)雜智能體（Agent）的“核心引擎。

在檢索增強(qiáng)生成（RAG）領(lǐng)域，Yuan3.0 Ultra在ChatRAG、DocMatix等評測中取得領(lǐng)先成績，可以精準(zhǔn)定位并利用企業(yè)私域知識。

ChatRAG涵蓋長文本檢索、短文本與結(jié)構(gòu)化檢索及維基百科檢索，Yuan3.0 Ultra在這項測試中的平均準(zhǔn)確率68.2%，10項任務(wù)中9項位居首位。

在企業(yè)實際業(yè)務(wù)中，大量關(guān)鍵信息存在于技術(shù)方案、財報報告、行業(yè)研究材料等文檔中，這些內(nèi)容通常包含圖文混排結(jié)構(gòu)、復(fù)雜表格以及跨頁面信息關(guān)聯(lián)，是企業(yè)構(gòu)建知識體系過程的難點。

多模態(tài)復(fù)雜表格理解評測MMTab覆蓋表格問答、事實核查、長文本表格處理等多個任務(wù)類型，Yuan3.0 Ultra在這一測試中以62.3%的平均準(zhǔn)確率超越Claude Opus 4.6和Gemini 3.1 Pro。

在高質(zhì)量總結(jié)生成方面，企業(yè)內(nèi)部知識通常分散在文檔庫、知識庫系統(tǒng)以及業(yè)務(wù)數(shù)據(jù)庫中，信息來源復(fù)雜且結(jié)構(gòu)不統(tǒng)一，要在這樣的環(huán)境中獲取有效信息，不僅需要檢索能力，還需要對多源內(nèi)容進(jìn)行語義整合與綜合分析。

在文本摘要生成評測SummEval中，Yuan3.0 Ultra平均精度62.8%，表現(xiàn)出色。這一測試從詞匯重疊、語義相似度與事實一致性三個維度綜合評估摘要質(zhì)量，是智能體應(yīng)用中歷史信息壓縮能力的重要參考。

精通多步驟工具調(diào)用與協(xié)作，為自動化執(zhí)行復(fù)雜任務(wù)打下堅實基礎(chǔ)，是Agent應(yīng)用關(guān)鍵能力，在智能體工具調(diào)用方面，Yuan3.0 Ultra表現(xiàn)均衡，在工具調(diào)用評測BFCL V3中平均得分67.8%。

這一測試包含靜態(tài)函數(shù)選擇、動態(tài)實時執(zhí)行、多輪上下文維護(hù)、相關(guān)性檢測與無關(guān)調(diào)用拒絕等維度評估真實工具調(diào)用能力。

最后，在企業(yè)運(yùn)營場景中，大量業(yè)務(wù)決策依賴數(shù)據(jù)庫查詢、報表分析以及跨系統(tǒng)數(shù)據(jù)整合，在這些場景下，企業(yè)往往需要將業(yè)務(wù)問題轉(zhuǎn)化為數(shù)據(jù)庫查詢，并結(jié)合數(shù)據(jù)結(jié)果進(jìn)行分析與總結(jié)。

在考察數(shù)據(jù)庫查詢語句生成能力的Text-to-SQL評測中，Yuan3.0 Ultra在Spider 1.0及BIRD評測上表現(xiàn)出色。

從綜合測試結(jié)果來看，Yuan3.0 Ultra是真正能打的企業(yè)大模型。

結(jié)語：提升單位算力真實智能密度，打破企業(yè)兩難困境

“龍蝦”的火爆讓我們看到了AI給個人和企業(yè)帶來的巨大價值潛力，但同樣也讓我們看到了讓AI真正能“干好活”，落地在企業(yè)場景所必然要面對的挑戰(zhàn)。

從Flash到Ultra，YuanLab.ai團(tuán)隊一直在向著這一方向發(fā)力，直指企業(yè)核心痛點，其技術(shù)創(chuàng)新目標(biāo)很明確：提升單位算力所產(chǎn)生的真實智能密度，讓大模型的能力可以真正轉(zhuǎn)化為企業(yè)可落地、可負(fù)擔(dān)、可穩(wěn)定使用的業(yè)務(wù)價值。

此次Yuan3.0 Ultra推動大模型從“能力展示”走向“規(guī)?；涞亍保?/strong>打破了困擾行業(yè)已久的成本效率困境。這是YuanLab.ai團(tuán)隊對下一代基礎(chǔ)大模型結(jié)構(gòu)的又一次探索實踐，給業(yè)界MoE大模型結(jié)構(gòu)創(chuàng)新、預(yù)訓(xùn)練算力效率提升提供了新的路徑。

面向未來，AI必將更加深入地與企業(yè)業(yè)務(wù)相結(jié)合，在更多真實場景中落地，而底層模型技術(shù)的迭代仍將是核心驅(qū)動力，YuanLab.ai團(tuán)隊不僅給技術(shù)的探索提供了新思路，也給企業(yè)提供了用好AI的更優(yōu)解。