智東西
作者 云鵬
編輯 漠影

當(dāng)前，“龍蝦”火爆全球，從消費(fèi)者到企業(yè)，紛紛開(kāi)始“養(yǎng)龍蝦”，但在部分提高效率的同時(shí)，這種AI智能體所帶來(lái)的問(wèn)題也同樣突出。

除了數(shù)據(jù)安全，處理復(fù)雜任務(wù)分分鐘燒掉海量Token的問(wèn)題也困擾不少用戶，干活一時(shí)爽，一看賬單傻眼。

海外有用戶曝出，他只是問(wèn)了一句“你好”，模型進(jìn)行大量思考直接燒掉數(shù)十美元。

如果說(shuō)個(gè)人場(chǎng)景尚且可以靈活處理，但企業(yè)級(jí)AI應(yīng)用落地，則必須要面對(duì)高Token消耗帶來(lái)的成本挑戰(zhàn)。

OpenClaw這類Agent其實(shí)只是AI的“手腳”，背后的模型才是真正的“大腦”，要解決高消耗高成本的問(wèn)題，仍然要從核心的模型入手。

當(dāng)前企業(yè)在Agent模型底座的選擇上面臨著“兩難困境”，想要高智能，就必須面對(duì)成倍Token消耗，以及推理延遲的增加，而選擇低成本，則往往需要犧牲模型能力。

對(duì)企業(yè)來(lái)說(shuō)，任何無(wú)效Token消耗都是真金白銀的流失，因此在當(dāng)下，模型效率已經(jīng)成為決定企業(yè)智能的核心要素。

近來(lái)，國(guó)內(nèi)AI大模型團(tuán)隊(duì)YuanLab.ai發(fā)布并開(kāi)源了Yuan3.0 Ultra多模態(tài)基礎(chǔ)大模型，在國(guó)內(nèi)外引起較高關(guān)注。

發(fā)布當(dāng)天，其在GitHub上公布了完整的模型權(quán)重、代碼和技術(shù)報(bào)告：

「開(kāi)源地址 」

GitHub項(xiàng)目：
https://github.com/Yuan-lab-LLM/Yuan3.0-Ultra
論文鏈接：
https://arxiv.org/abs/2601.14327

值得一提的是，這是當(dāng)前業(yè)界僅有的三個(gè)萬(wàn)億級(jí)開(kāi)源多模態(tài)大模型之一，其最核心的創(chuàng)新之處在于通過(guò)LAEP技術(shù)——基于學(xué)習(xí)的自適應(yīng)專家剪枝，在不破壞功能結(jié)構(gòu)的情況下剪除冗余，實(shí)現(xiàn)了33%的參數(shù)減少，且訓(xùn)練速度還暴漲了49%，輸出時(shí)間縮短14%的同時(shí)準(zhǔn)確率提高16%。

可以說(shuō)是真正的魚(yú)和熊掌兼得，成本和智能“既要又要”。

從檢索增強(qiáng)生成、多模態(tài)文檔理解、表格數(shù)據(jù)分析、內(nèi)容摘要與工具調(diào)用等任務(wù)，Yuan3.0 Ultra在多個(gè)企業(yè)級(jí)AI常常面對(duì)的核心場(chǎng)景和難點(diǎn)方面表現(xiàn)突出。

在YuanLab.ai團(tuán)隊(duì)看來(lái)，效率不是成本優(yōu)化的“可選項(xiàng)”，而是模型能力的“組成部分”，他們的目標(biāo)就是讓企業(yè)能以更少的算力開(kāi)銷，產(chǎn)生更大的智能。

Yuan3.0 Ultra證明了旗艦級(jí)智能可以通過(guò)更高效、更經(jīng)濟(jì)、更可控的方式實(shí)現(xiàn)，可以說(shuō)給企業(yè)Agent落地提供了核心能力支撐。

一、三項(xiàng)關(guān)鍵技術(shù)創(chuàng)新背后，如何實(shí)現(xiàn)“有效思考”與“極致降本”？

26年初，YuanLab.ai團(tuán)隊(duì)就已經(jīng)發(fā)布了Yuan3.0 Flash模型，聚焦推理端效率，減少無(wú)效token消耗，通過(guò)RIRM、RAPO等核心技術(shù)創(chuàng)新打破了“高智能必須高Token消耗”的悖論，驗(yàn)證了“更少算力，并不意味著更弱能力”。

而這次發(fā)布的Yuan 3.0 Ultra旗艦?zāi)Ｐ?，進(jìn)一步裁除冗余專家，讓模型結(jié)構(gòu)更加精煉，通過(guò)LAEP、LFA、RIRM等技術(shù)實(shí)現(xiàn)了“不需要無(wú)節(jié)制堆算力就能獲得更強(qiáng)智能”。

整體來(lái)看，Yuan 3.0 Ultra從預(yù)訓(xùn)練架構(gòu)、注意力機(jī)制到推理范式，進(jìn)行了全鏈路技術(shù)創(chuàng)新?；凇坝行伎肌奔夹g(shù)體系，其實(shí)現(xiàn)了“有效規(guī)?！钡倪M(jìn)一步突破，可以說(shuō)解決了大模型“參數(shù)虛高、算力浪費(fèi)、落地困難”的痛點(diǎn)。

具體來(lái)看，其核心突破點(diǎn)之一是自適應(yīng)專家裁剪算法（LAEP），簡(jiǎn)單來(lái)說(shuō)，專家不需要更多，而在于更有效。

如果把MoE架構(gòu)大模型比作一個(gè)百人研發(fā)團(tuán)隊(duì)，其核心優(yōu)勢(shì)本該是“專業(yè)分工、高效協(xié)作”，但在真實(shí)的工程實(shí)踐中，卻出現(xiàn)了嚴(yán)重的“團(tuán)隊(duì)管理失控”。

MoE大模型普遍存在預(yù)訓(xùn)練專家負(fù)載嚴(yán)重不均衡的問(wèn)題，訓(xùn)練穩(wěn)定階段最高與最低專家負(fù)載差異可達(dá)近500倍。

少數(shù)專家承擔(dān)了絕大多數(shù)計(jì)算任務(wù)，而大量低貢獻(xiàn)專家長(zhǎng)期處于低負(fù)載狀態(tài)，造成算力資源的嚴(yán)重浪費(fèi)，也導(dǎo)致模型參數(shù)虛高、利用效率低下，企業(yè)落地成本居高不下。

▲預(yù)訓(xùn)練過(guò)程中各層專家token分布的演化趨勢(shì)（左列）及穩(wěn)定階段負(fù)載分布（右列）

簡(jiǎn)單來(lái)說(shuō)：少數(shù)幾個(gè)專家干了絕大多數(shù)的活，部分專家全程“摸魚(yú)”。

行業(yè)主流MoE模型（Mixtral、DeepSeek-V3）普遍依賴輔助損失函數(shù)來(lái)約束專家利用率，“精度與均衡不可兼得”。

YuanLab.ai團(tuán)隊(duì)研發(fā)了自適應(yīng)專家裁剪算法（LAEP），基于MoE模型預(yù)訓(xùn)練過(guò)程中自然形成的專家功能專一化規(guī)律，動(dòng)態(tài)識(shí)別并剔除低貢獻(xiàn)冗余專家，對(duì)模型結(jié)構(gòu)進(jìn)行自適應(yīng)裁剪與專家重排。

具體來(lái)說(shuō)，就是“多勞多得”、“按勞分配”，計(jì)算資源傾斜給價(jià)值和貢獻(xiàn)更高的專家。

這一過(guò)程類比人類大腦學(xué)習(xí)過(guò)程中對(duì)神經(jīng)連接的優(yōu)化重組——保留高效信息處理通路，削弱低效連接，在維持甚至強(qiáng)化模型專業(yè)化能力的同時(shí)，提升算力利用效率。

從實(shí)際效果來(lái)看，預(yù)訓(xùn)練初始1515B參數(shù)優(yōu)化至1010B，參數(shù)規(guī)模減少33.3%；預(yù)訓(xùn)練算力效率提升49%、單次推理僅激活68.8B參數(shù)；性能方面也處于頭部陣營(yíng)。

▲Yuan3.0 Ultra采用LAEP+專家重排機(jī)制有效提升機(jī)制訓(xùn)練效率

核心突破點(diǎn)之二，是語(yǔ)義建模能力升級(jí)，基于LFA技術(shù)強(qiáng)化長(zhǎng)上下文語(yǔ)義關(guān)聯(lián)能力。

在企業(yè)實(shí)際應(yīng)用中，模型常常需要處理圖文混排的財(cái)報(bào)、多頁(yè)技術(shù)文檔、跨文檔知識(shí)檢索等復(fù)雜任務(wù)。這類場(chǎng)景對(duì)長(zhǎng)上下文語(yǔ)義關(guān)聯(lián)能力要求極高——模型必須能從大量信息中精準(zhǔn)捕捉關(guān)鍵內(nèi)容，忽略無(wú)關(guān)干擾。

為此，Yuan3.0 Ultra引入了局部過(guò)濾注意力機(jī)制（Localized Filtering-based Attention，LFA），實(shí)現(xiàn)對(duì)語(yǔ)義關(guān)聯(lián)的精準(zhǔn)篩選與強(qiáng)化，有效過(guò)濾無(wú)效注意力干擾，提升模型對(duì)長(zhǎng)上下文、復(fù)雜語(yǔ)義關(guān)系的建模能力，從而更準(zhǔn)確地理解各種信息來(lái)源的脈絡(luò)。

從實(shí)際效果來(lái)看，面對(duì)企業(yè)級(jí)場(chǎng)景中長(zhǎng)上下文的圖文混排文檔解析、跨文檔知識(shí)檢索、多步驟Agent推理等需求，模型在長(zhǎng)文本、復(fù)雜結(jié)構(gòu)信息處理中都能保持較高準(zhǔn)確率。

核心突破點(diǎn)之三，是升級(jí)“有效思考”范式，利用RIRM+RAPO技術(shù)體系，減少無(wú)效Token。這也是聚焦推理階段另一核心浪費(fèi)——大模型“過(guò)度反思”。

在Agent連續(xù)任務(wù)鏈中，大模型常常陷入“過(guò)度反思”——明明已經(jīng)得出正確答案，卻還要反復(fù)推敲，導(dǎo)致Token消耗成倍增加，響應(yīng)延遲拉長(zhǎng)。這種無(wú)效反思在復(fù)雜任務(wù)中尤為突出，是企業(yè)級(jí)AI落地的一大成本黑洞。

Yuan3.0 Ultra從強(qiáng)化學(xué)習(xí)層面入手，通過(guò)RIRM+RAPO兩大技術(shù)創(chuàng)新根治這一頑疾：

反思抑制獎(jiǎng)勵(lì)機(jī)制（RIRM）就是在萬(wàn)億參數(shù)規(guī)模的大規(guī)模強(qiáng)化學(xué)習(xí)中，對(duì)反思次數(shù)引入精細(xì)化獎(jiǎng)勵(lì)約束，教導(dǎo)模型在復(fù)雜企業(yè)級(jí)任務(wù)中，獲得可靠答案后主動(dòng)停止無(wú)效反思，同時(shí)保留深度推理能力，從根本上修正“過(guò)度思考”行為。

▲采用優(yōu)化后的RIRM訓(xùn)練Yuan3.0 Ultra的動(dòng)態(tài)過(guò)程，訓(xùn)練準(zhǔn)確率在整個(gè)訓(xùn)練過(guò)程中呈現(xiàn)穩(wěn)步上升趨勢(shì)，平均響應(yīng)長(zhǎng)度隨著訓(xùn)練的進(jìn)行逐漸下降

反思感知自適應(yīng)策略優(yōu)化算法（RAPO）則針對(duì)萬(wàn)億級(jí)MoE模型強(qiáng)化學(xué)習(xí)訓(xùn)練不穩(wěn)定、效率低的行業(yè)難題，完成了算法架構(gòu)的深度優(yōu)化，進(jìn)一步提升大規(guī)模MoE模型的訓(xùn)練穩(wěn)定性與訓(xùn)練效率。

總體來(lái)看，LAEP決定了模型“用多少有效參數(shù)去學(xué)”、LFA決定了模型“如何精準(zhǔn)捕捉有效信息”、RAPO保障了模型“如何穩(wěn)定高效地學(xué)習(xí)”、RIRM明確了模型“推理到什么程度該停”。

YuanLab.ai團(tuán)隊(duì)一系列底層模型架構(gòu)創(chuàng)新，讓萬(wàn)億級(jí)旗艦?zāi)Ｐ蛯?shí)現(xiàn)了“企業(yè)用得起、用得好、能落地”。

二、吃透企業(yè)AI應(yīng)用核心場(chǎng)景，五項(xiàng)關(guān)鍵能力出眾

諸多技術(shù)創(chuàng)新加持下，Yuan3.0 Ultra在大部分核心企業(yè)場(chǎng)景中都有出色表現(xiàn)，用團(tuán)隊(duì)的話來(lái)說(shuō)，Yuan3.0 Ultra從設(shè)計(jì)階段就針對(duì)企業(yè)真實(shí)應(yīng)用場(chǎng)景進(jìn)行能力構(gòu)建，是一個(gè)能夠驅(qū)動(dòng)復(fù)雜智能體（Agent）的“核心引擎。

在檢索增強(qiáng)生成（RAG）領(lǐng)域，Yuan3.0 Ultra在ChatRAG、DocMatix等評(píng)測(cè)中取得領(lǐng)先成績(jī)，可以精準(zhǔn)定位并利用企業(yè)私域知識(shí)。

ChatRAG涵蓋長(zhǎng)文本檢索、短文本與結(jié)構(gòu)化檢索及維基百科檢索，Yuan3.0 Ultra在這項(xiàng)測(cè)試中的平均準(zhǔn)確率68.2%，10項(xiàng)任務(wù)中9項(xiàng)位居首位。

在企業(yè)實(shí)際業(yè)務(wù)中，大量關(guān)鍵信息存在于技術(shù)方案、財(cái)報(bào)報(bào)告、行業(yè)研究材料等文檔中，這些內(nèi)容通常包含圖文混排結(jié)構(gòu)、復(fù)雜表格以及跨頁(yè)面信息關(guān)聯(lián)，是企業(yè)構(gòu)建知識(shí)體系過(guò)程的難點(diǎn)。

多模態(tài)復(fù)雜表格理解評(píng)測(cè)MMTab覆蓋表格問(wèn)答、事實(shí)核查、長(zhǎng)文本表格處理等多個(gè)任務(wù)類型，Yuan3.0 Ultra在這一測(cè)試中以62.3%的平均準(zhǔn)確率超越Claude Opus 4.6和Gemini 3.1 Pro。

在高質(zhì)量總結(jié)生成方面，企業(yè)內(nèi)部知識(shí)通常分散在文檔庫(kù)、知識(shí)庫(kù)系統(tǒng)以及業(yè)務(wù)數(shù)據(jù)庫(kù)中，信息來(lái)源復(fù)雜且結(jié)構(gòu)不統(tǒng)一，要在這樣的環(huán)境中獲取有效信息，不僅需要檢索能力，還需要對(duì)多源內(nèi)容進(jìn)行語(yǔ)義整合與綜合分析。

在文本摘要生成評(píng)測(cè)SummEval中，Yuan3.0 Ultra平均精度62.8%，表現(xiàn)出色。這一測(cè)試從詞匯重疊、語(yǔ)義相似度與事實(shí)一致性三個(gè)維度綜合評(píng)估摘要質(zhì)量，是智能體應(yīng)用中歷史信息壓縮能力的重要參考。

精通多步驟工具調(diào)用與協(xié)作，為自動(dòng)化執(zhí)行復(fù)雜任務(wù)打下堅(jiān)實(shí)基礎(chǔ)，是Agent應(yīng)用關(guān)鍵能力，在智能體工具調(diào)用方面，Yuan3.0 Ultra表現(xiàn)均衡，在工具調(diào)用評(píng)測(cè)BFCL V3中平均得分67.8%。

這一測(cè)試包含靜態(tài)函數(shù)選擇、動(dòng)態(tài)實(shí)時(shí)執(zhí)行、多輪上下文維護(hù)、相關(guān)性檢測(cè)與無(wú)關(guān)調(diào)用拒絕等維度評(píng)估真實(shí)工具調(diào)用能力。

最后，在企業(yè)運(yùn)營(yíng)場(chǎng)景中，大量業(yè)務(wù)決策依賴數(shù)據(jù)庫(kù)查詢、報(bào)表分析以及跨系統(tǒng)數(shù)據(jù)整合，在這些場(chǎng)景下，企業(yè)往往需要將業(yè)務(wù)問(wèn)題轉(zhuǎn)化為數(shù)據(jù)庫(kù)查詢，并結(jié)合數(shù)據(jù)結(jié)果進(jìn)行分析與總結(jié)。

在考察數(shù)據(jù)庫(kù)查詢語(yǔ)句生成能力的Text-to-SQL評(píng)測(cè)中，Yuan3.0 Ultra在Spider 1.0及BIRD評(píng)測(cè)上表現(xiàn)出色。

從綜合測(cè)試結(jié)果來(lái)看，Yuan3.0 Ultra是真正能打的企業(yè)大模型。

結(jié)語(yǔ)：提升單位算力真實(shí)智能密度，打破企業(yè)兩難困境

“龍蝦”的火爆讓我們看到了AI給個(gè)人和企業(yè)帶來(lái)的巨大價(jià)值潛力，但同樣也讓我們看到了讓AI真正能“干好活”，落地在企業(yè)場(chǎng)景所必然要面對(duì)的挑戰(zhàn)。

從Flash到Ultra，YuanLab.ai團(tuán)隊(duì)一直在向著這一方向發(fā)力，直指企業(yè)核心痛點(diǎn)，其技術(shù)創(chuàng)新目標(biāo)很明確：提升單位算力所產(chǎn)生的真實(shí)智能密度，讓大模型的能力可以真正轉(zhuǎn)化為企業(yè)可落地、可負(fù)擔(dān)、可穩(wěn)定使用的業(yè)務(wù)價(jià)值。

此次Yuan3.0 Ultra推動(dòng)大模型從“能力展示”走向“規(guī)?；涞亍?，打破了困擾行業(yè)已久的成本效率困境。這是YuanLab.ai團(tuán)隊(duì)對(duì)下一代基礎(chǔ)大模型結(jié)構(gòu)的又一次探索實(shí)踐，給業(yè)界MoE大模型結(jié)構(gòu)創(chuàng)新、預(yù)訓(xùn)練算力效率提升提供了新的路徑。

面向未來(lái)，AI必將更加深入地與企業(yè)業(yè)務(wù)相結(jié)合，在更多真實(shí)場(chǎng)景中落地，而底層模型技術(shù)的迭代仍將是核心驅(qū)動(dòng)力，YuanLab.ai團(tuán)隊(duì)不僅給技術(shù)的探索提供了新思路，也給企業(yè)提供了用好AI的更優(yōu)解。