我看了下 Github 上發(fā)布詳情，發(fā)現(xiàn)這次百度這次的開源模型反而不是重點(diǎn)，它的胃口主要在于生態(tài)。

簡(jiǎn)單來說，AI大模型必定會(huì)有一代更比一代強(qiáng)，但是生態(tài)基礎(chǔ)不一樣，它更像是挖金礦的鏟子，用戶忠誠(chéng)度極高。

文心 4.5 的 Github 鏈接： https://github.com/PaddlePaddle/ERNIE

文心 Ernie4.5 ，這次一共發(fā)布了 10 款大模型，但實(shí)際上涵蓋了三個(gè)品類：

• LLM ：傳統(tǒng)的大語(yǔ)言模型，也就是純文字的那種，主流的 MoE 混合專家模型，有兩個(gè) size ，一個(gè)大的 300B ，一個(gè)小的 21B ，跨度很大。

• VLM ：視覺語(yǔ)言模型，也就是現(xiàn)在主流的多模態(tài)模型，可以無縫的處理文字 / 圖片 / 視頻，但是目前只能輸出文字，比如讓它描述個(gè)圖片視頻什么的。

• Dense Model ：這個(gè)是跟 MoE 相對(duì)的稠密模型，也就是這種模型每推理一次，就會(huì)用到所有的參數(shù)，代價(jià)就是消耗的計(jì)算量大，所以這個(gè)類目只有 0.3B 的模型，非常適合跑在端側(cè)。

異構(gòu)MoE

單純從發(fā)布的 10 個(gè)大模型來看，可以很清晰地看到百度在盡可能的探索 AI 大模型的所有主流方向， Reasoning 推理， MoE ， Dense ，端側(cè)等等。

但是它這個(gè) MoE 有亮點(diǎn)，那就是 Multimodal Heterogeneous MoE Pre-Training ， MoE 我們大家應(yīng)該都不陌生，像 DeepSeek R1 就是一個(gè) MoE 的混合專家模型，也就是大模型，但是推理的時(shí)候只執(zhí)行一部分，所以兼?zhèn)淞速|(zhì)量和速度。

而 Ernie 的這個(gè) MoE ，首先它是多模態(tài)的，可以處理除了文本之外的圖片和視頻，這就要求在訓(xùn)練的時(shí)候適配多模態(tài)，其次更重要的是 Heterogeneous 異構(gòu)這個(gè)詞，一般來說，之前的多模態(tài)大模型，訓(xùn)練的時(shí)候就像是一口 “ 大熔爐 ” ，所有的內(nèi)容進(jìn)行都先 encoding ，換句話說，各種模型的數(shù)據(jù)最終都會(huì)轉(zhuǎn)換成數(shù)學(xué)里面的向量。

再簡(jiǎn)單一點(diǎn)兒，那就是不管你是普通話還是什么方言，最終都要轉(zhuǎn)換成英文表達(dá)。

這里面就有問題了，因?yàn)閳D像和文字本來就是兩種不同的表達(dá)方式，那么用這種 “ 一鍋燴 ” 的方式，為了學(xué)好圖像，可能會(huì)犧牲一些語(yǔ)言的精細(xì)度；為了更好地理解語(yǔ)法，可能會(huì)忽略圖像的細(xì)節(jié)。最終得到的可能是一個(gè) “ 折中 ” 的模型，而不是一個(gè) “ 雙料冠軍 ” 。

文心 4.5 做的事其實(shí)直覺上很簡(jiǎn)單，它不再是簡(jiǎn)單地將圖像和文本數(shù)據(jù) “ 攪拌 ” 在一起喂給模型，而是設(shè)計(jì)了一個(gè) 分工明確、調(diào)度智能、訓(xùn)練有方 的 “ 專家委員會(huì) ” 系統(tǒng)。通過 異構(gòu)結(jié)構(gòu) 實(shí)現(xiàn)物理隔離，通過 隔離路由 實(shí)現(xiàn)任務(wù)的精準(zhǔn)分配，再通過 兩種特殊的損失函數(shù) 從數(shù)學(xué)上保證了專家團(tuán)隊(duì)的專業(yè)性和學(xué)習(xí)過程的公平性。

最終達(dá)到的效果是 “ 相互促進(jìn) (mutual reinforcement)” ，即文本知識(shí)的學(xué)習(xí)可以幫助模型更好地理解圖像，反過來也一樣。

性能

性能大家可以自己去對(duì)比，畢竟都是些打榜的 benchmark 結(jié)果，不能當(dāng)成使用效果來看，具體怎么樣，得看自己的需求，沒有什么模型十全十美。

生態(tài)

我甚至覺得這部分才是大頭，因?yàn)榘俣绕鋵?shí)一直做的深度學(xué)習(xí)框架 飛槳（ PaddlePaddle ） ，在國(guó)內(nèi)還是挺有基礎(chǔ)的，因?yàn)槟Ｐ涂赡軙?huì)過時(shí)，但是生態(tài)可是一個(gè)長(zhǎng)期主義的典型代表。

這次隨模型一同發(fā)布的，還有文心大模型開發(fā)套件 ERNIEKit 和高效部署套件 FastDeploy 。 ERNIEKit 覆蓋了從微調(diào)（ SFT ）、對(duì)齊（ DPO ）到量化的全流程開發(fā)，而 FastDeploy 則解決了多硬件平臺(tái)（如各種芯片）的高效推理部署問題。

這一整套 “ 全家桶 ” 式的解決方案，極大地降低了開發(fā)者使用文心大模型的門檻。

對(duì)于百度來說，我一直是跟 Google 對(duì)標(biāo)的，畢竟大家都是做搜索引擎出身，再加上本身有的大量語(yǔ)料資源，計(jì)算資源，是可以下盤大棋的，如果一旦習(xí)慣了這套從開發(fā)到部署的流暢體驗(yàn)，就會(huì)自然而然地被留在飛槳的生態(tài)系統(tǒng)中。