“我們塑造了工具，此后工具也塑造了我們?！?br/>

AI大模型帶來(lái)的智能革命，媲美工業(yè)革命和電力革命，深刻改變?nèi)祟?lèi)社會(huì)的生產(chǎn)生活方式，是開(kāi)啟智能時(shí)代的那一臺(tái)“蒸汽機(jī)”。

從文生文到文生圖，再到文生視頻，以ChatGPT、Sora等為代表的大模型引領(lǐng)了全球人工智能技術(shù)與產(chǎn)業(yè)的新一輪浪潮，海內(nèi)外大模型相關(guān)研究與產(chǎn)品競(jìng)相涌現(xiàn)、加速迭代，進(jìn)入“百舸爭(zhēng)流”的新時(shí)代。

不過(guò)，人工智能領(lǐng)域似乎進(jìn)入了一個(gè)微妙的節(jié)點(diǎn)，眾多科技巨頭和創(chuàng)業(yè)公司紛紛推出自己的AI大模型產(chǎn)品，卻難掩同質(zhì)化的窘境?；仡?023年，自3月份ChatGPT-4上線后，國(guó)內(nèi)科技企業(yè)紛紛跑步入場(chǎng)。百度“文心一言”、阿里巴巴“通義千問(wèn)”、華為“盤(pán)古”、360“智腦”、昆侖萬(wàn)維“天工”、京東“靈犀”、科大訊飛“星火”、騰訊“混元”、商湯“日日新” 等大模型先后登場(chǎng)。截至今年5月，國(guó)內(nèi)已經(jīng)推出超過(guò)300個(gè)大模型。其中，10億參數(shù)規(guī)模以上的大模型已超100個(gè)。

無(wú)論是何種類(lèi)型的大模型，在“百模大戰(zhàn)”的背景下，其功能、用途、場(chǎng)景都難免重復(fù)。但在業(yè)內(nèi)人士看來(lái)，大模型的發(fā)展還遠(yuǎn)未觸及天花板，不僅“百模大戰(zhàn)”不是終點(diǎn)，“萬(wàn)模群舞”或許就在不遠(yuǎn)的將來(lái)。

AI大模型過(guò)剩了嗎？

近兩年來(lái)，大模型技術(shù)呈現(xiàn)爆發(fā)式的增長(zhǎng)，而且在各個(gè)研究領(lǐng)域和實(shí)踐任務(wù)上都取得了矚目成果，諸多科技巨頭公司也紛紛投身于大模型的浪潮之中。

在最早應(yīng)用大模型的自然語(yǔ)言處理（NLP）領(lǐng)域，OpenAI推出了擁有1750億個(gè)參數(shù)的ChatGPT，這一行動(dòng)激發(fā)了一系列的應(yīng)用熱潮：微軟將ChatGPT接入了其搜索引擎Bing；谷歌推出了自家的語(yǔ)言大模型PaLM和對(duì)話(huà)模型Bard，并且已經(jīng)開(kāi)始了PaLM2的研發(fā)；我國(guó)百度、字節(jié)跳動(dòng)、華為等公司也積極推出了自己的語(yǔ)言大模型。

在NLP大模型取得了巨大成功的鼓舞下，其他領(lǐng)域也涌現(xiàn)出了大模型的身影。在語(yǔ)音識(shí)別領(lǐng)域，OpenAI和谷歌分別推出了擁有15億參數(shù)的Whisper模型和20億參數(shù)的USM模型，而微軟則推出了能夠在幾秒鐘內(nèi)準(zhǔn)確模仿任何人說(shuō)話(huà)聲音和語(yǔ)調(diào)的語(yǔ)音生成模型VALL-E；在視覺(jué)領(lǐng)域，基于大模型工作的GPT-4和OpenCLIP進(jìn)行了語(yǔ)音和視覺(jué)的跨模態(tài)訓(xùn)練，使得這些模型能夠用自然語(yǔ)言的方式去理解圖片。

此外，谷歌和臉書(shū)公司也各自采用了監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)的方式，分別訓(xùn)練了220億參數(shù)和65億參數(shù)的Vision Transformer視覺(jué)大模型，這些模型在性能上大大超越了參數(shù)數(shù)量更少的模型；在強(qiáng)化學(xué)習(xí)領(lǐng)域，谷歌和DeepMind公司開(kāi)發(fā)的PaLM-E和Gato，也開(kāi)始探索和實(shí)驗(yàn)強(qiáng)化學(xué)習(xí)大模型的可能性。

從去年開(kāi)始，中國(guó)涌現(xiàn)出大量的行業(yè)大模型。這種現(xiàn)象背后隱含的一個(gè)事實(shí)是：打造行業(yè)大模型的技術(shù)門(mén)檻相對(duì)較低。隨著開(kāi)源技術(shù)的普及，技術(shù)上的壁壘逐漸被打破。許多優(yōu)質(zhì)的預(yù)訓(xùn)練技術(shù)、框架和工具已經(jīng)被廣大研發(fā)者和機(jī)構(gòu)所采納和使用。相對(duì)于開(kāi)發(fā)一個(gè)全新的大模型，微調(diào)現(xiàn)有的通用大模型更為簡(jiǎn)單快捷，只需要大量、高質(zhì)量的行業(yè)數(shù)據(jù)即可。

打造一個(gè)強(qiáng)大的通用大模型卻是一項(xiàng)長(zhǎng)期且復(fù)雜的任務(wù)，這需要巨大的計(jì)算資源、多樣化的數(shù)據(jù)和深厚的技術(shù)積累。因此，相比之下，行業(yè)大模型的產(chǎn)生，就顯得更為便捷了。

但這種便捷性帶來(lái)的是雙刃劍效應(yīng)。大量涌現(xiàn)的所謂行業(yè)大模型，并不具備真正的競(jìng)爭(zhēng)壁壘。技術(shù)上，它們大多基于相似的開(kāi)源技術(shù)和通用大模型進(jìn)行微調(diào)，很少有真正的技術(shù)創(chuàng)新。數(shù)據(jù)上，盡管行業(yè)數(shù)據(jù)是關(guān)鍵，但許多企業(yè)并沒(méi)有真正挖掘、整合和利用這些數(shù)據(jù)的能力，使得其微調(diào)的效果并不理想。

事實(shí)上，底層通用大模型的每次迭代，都將“淹沒(méi)”一大批所謂的行業(yè)大模型。大模型技術(shù)的快速迭代就是一個(gè)典型的例子，每次通用大模型的升級(jí)都使其前一代的技術(shù)變得陳舊。

以O(shè)penAI的GPT系列為例，從GPT到GPT-4，每當(dāng)OpenAI發(fā)布一個(gè)新版本，它都會(huì)因?yàn)楦嗟膮?shù)、更先進(jìn)的算法和更高的性能，使前一版本相形見(jiàn)絀。而這種進(jìn)化不僅僅局限于通用模型，實(shí)際上，它更多地影響到了基于前一代模型微調(diào)出的行業(yè)大模型。

試想，一個(gè)企業(yè)可能已經(jīng)投入大量資源在GPT-3上，開(kāi)發(fā)出一套專(zhuān)門(mén)為醫(yī)療領(lǐng)域設(shè)計(jì)的AI系統(tǒng)。但當(dāng)GPT-4問(wèn)世時(shí)，這家企業(yè)突然發(fā)現(xiàn)，他們的專(zhuān)業(yè)系統(tǒng)在新的通用模型面前相對(duì)落后，甚至可能不如直接使用GPT-4的效果。這就是因?yàn)?，每次通用大模型的迭代都意味著一個(gè)巨大的技術(shù)飛躍，其對(duì)特定任務(wù)的處理能力會(huì)顯著增強(qiáng)。

值得深思的是，中國(guó)在AI領(lǐng)域已取得了許多值得驕傲的成果。然而，與國(guó)外相比，中國(guó)在AI大模型的算法創(chuàng)新和理論研究上仍存在差距。尤其是美國(guó)在AI大模型的基礎(chǔ)算法和架構(gòu)創(chuàng)新方面領(lǐng)先，例如Transformer模型和BERT等創(chuàng)新技術(shù)，對(duì)全球AI發(fā)展產(chǎn)生了深遠(yuǎn)影響。

這對(duì)于中國(guó)的技術(shù)界來(lái)說(shuō)是一個(gè)挑戰(zhàn)，也是一個(gè)機(jī)會(huì)。挑戰(zhàn)在于如何在短時(shí)間內(nèi)彌補(bǔ)這一差距，機(jī)會(huì)則在于一旦做到，國(guó)內(nèi)的行業(yè)大模型將能夠站在一個(gè)更高的起點(diǎn)。

要卷應(yīng)用，不要卷模型

也有一種觀點(diǎn)認(rèn)為，不要重復(fù)造輪子，AI十倍的機(jī)會(huì)在別處。百度董事長(zhǎng)兼CEO李彥宏此前曾表示：“重新做一個(gè)ChatGPT沒(méi)有多大意義。基于語(yǔ)言大模型開(kāi)發(fā)應(yīng)用機(jī)會(huì)很大，但沒(méi)有必要再重新發(fā)明一遍輪子。”

今年7月，李彥宏在2024世界人工智能大會(huì)呼吁：“不要卷模型，要卷應(yīng)用！”。他認(rèn)為，AI技術(shù)已經(jīng)從辨別式轉(zhuǎn)向了生成式，但技術(shù)本身并不是目的，真正的價(jià)值在于如何將這些技術(shù)應(yīng)用于實(shí)際場(chǎng)景，解決實(shí)際問(wèn)題。

通用大模型發(fā)展至今，面臨算力需求大、訓(xùn)練和推理成本高、數(shù)據(jù)質(zhì)量不佳等挑戰(zhàn)。一個(gè)成功的且可對(duì)外商業(yè)化輸出的通用大模型，要求廠商擁有全棧大模型訓(xùn)練與研發(fā)能力、業(yè)務(wù)場(chǎng)景落地經(jīng)驗(yàn)、AI安全治理舉措、以及生態(tài)開(kāi)放性等核心優(yōu)勢(shì)。

另外，訓(xùn)練基礎(chǔ)模型的成本也是非常之高，做一個(gè)千億級(jí)的大模型，需要單機(jī)群萬(wàn)卡以上的算力。從國(guó)內(nèi)外來(lái)看，真正做通用模型的公司并沒(méi)有那么多。相反，訓(xùn)練垂直領(lǐng)域模型所需要的代價(jià)和資源遠(yuǎn)遠(yuǎn)小于從零開(kāi)始做通用模型。

因而，從商業(yè)邏輯的角度來(lái)看，大部分公司不具備做通用大模型的能力，巨頭更適合做通用大模型，擁有豐富場(chǎng)景數(shù)據(jù)積累的公司更適合做垂域模型或者AI原生應(yīng)用。

AI原生應(yīng)用開(kāi)發(fā)的具體思路主要包含三個(gè)方面。

首先是MoE（Mixture-of-Experts，專(zhuān)家混合）,其前身是“集成學(xué)習(xí)”，作為一種由專(zhuān)家模型和門(mén)控模型組成稀疏門(mén)控制的深度學(xué)習(xí)技術(shù)，MoE由多個(gè)子模型（即專(zhuān)家）組成，每個(gè)子模型都是一個(gè)局部模型，專(zhuān)門(mén)處理輸入空間的一個(gè)子集。在“分而治之”的核心思想指導(dǎo)下，MoE使用門(mén)控網(wǎng)絡(luò)來(lái)決定每個(gè)數(shù)據(jù)應(yīng)該被哪個(gè)模型去訓(xùn)練，從而減輕不同類(lèi)型樣本之間的干擾。

通俗來(lái)講，MoE就像復(fù)仇者聯(lián)盟，每個(gè)子模型（專(zhuān)家）都是一個(gè)超級(jí)英雄，門(mén)控網(wǎng)絡(luò)則是尼克·弗瑞，負(fù)責(zé)協(xié)調(diào)各個(gè)超級(jí)英雄，決定在什么情況下召喚哪位英雄。之后選擇最合適的專(zhuān)家進(jìn)行處理，并將各位專(zhuān)家的輸出匯總起來(lái)，給出最終的答案。

需要強(qiáng)調(diào)的是，MoE不是通常意義上的學(xué)術(shù)概念，更準(zhǔn)確地說(shuō)，是大小模型的混用，不依賴(lài)一個(gè)模型來(lái)解決所有問(wèn)題。什么時(shí)候調(diào)用小模型、什么時(shí)候調(diào)用大模型、什么時(shí)候不調(diào)用模型，需要針對(duì)應(yīng)用的不同場(chǎng)景做匹配。

其次是小模型。相比大模型，小模型推理成本低，響應(yīng)速度快，在一些特定場(chǎng)景中，經(jīng)過(guò)SFT精調(diào)（在一個(gè)已經(jīng)訓(xùn)練好的模型基礎(chǔ)上,通過(guò)進(jìn)一步訓(xùn)練模型的一部分參數(shù),以適應(yīng)新的任務(wù)或數(shù)據(jù)集）后的小模型，使用效果可以媲美大模型。小模型的獨(dú)特價(jià)值在于通過(guò)大模型，壓縮蒸餾出來(lái)一個(gè)基礎(chǔ)模型，然后再用數(shù)據(jù)去訓(xùn)練，這比從頭開(kāi)始訓(xùn)小模型，效果要好很多，比基于開(kāi)源模型訓(xùn)練出來(lái)的模型效果更好、速度更快、成本更低。

第三是智能體。智能體以云為基礎(chǔ)，以AI為核心，構(gòu)建一個(gè)立體感知、全域協(xié)同、精準(zhǔn)判斷、持續(xù)進(jìn)化、開(kāi)放的智能系統(tǒng)。智能體能力提升會(huì)不斷催生出大量新應(yīng)用。智能體機(jī)制，包括理解、規(guī)劃、反思和進(jìn)化，它讓機(jī)器像人一樣思考和行動(dòng)，可以自主完成復(fù)雜任務(wù)，在環(huán)境中持續(xù)學(xué)習(xí)、實(shí)現(xiàn)自我迭代和進(jìn)化。

智能體還有一個(gè)特點(diǎn)，在一些復(fù)雜系統(tǒng)中，可以讓不同智能體互動(dòng)，形成群體智能，通過(guò)相互協(xié)作，更高質(zhì)量地完成任務(wù)，這就好比一個(gè)無(wú)人機(jī)群，可以完成一架無(wú)人機(jī)難以完成的工作。當(dāng)前火熱的車(chē)路云一體化也可以借助群體智能，賦予城市交通協(xié)同感知、協(xié)同計(jì)算、融合決策等能力，從而助力整個(gè)城市的交通效率實(shí)現(xiàn)全局最優(yōu)。

AI Infra將是下一個(gè)應(yīng)用熱點(diǎn)？

每個(gè)科技巨頭都希望在自己的生態(tài)中形成閉環(huán)，一定程度上也是因?yàn)檎麄€(gè)國(guó)內(nèi)開(kāi)源的生態(tài)不夠強(qiáng)大。

目前，大模型產(chǎn)業(yè)鏈大致可以分為數(shù)據(jù)準(zhǔn)備、模型構(gòu)建、模型產(chǎn)品三個(gè)層次。在國(guó)外，AI大模型的產(chǎn)業(yè)鏈比較成熟，形成了數(shù)量眾多的AI Infra（架構(gòu)）公司，但這一塊市場(chǎng)在國(guó)內(nèi)還相對(duì)空白。

而在國(guó)內(nèi)，巨頭們都有一套自己的訓(xùn)練架構(gòu)。

比如，華為的模型采用的是三層架構(gòu)，其底層屬于通識(shí)性大模型，具備超強(qiáng)的魯棒性的泛化性，在這之上是行業(yè)大模型和針對(duì)具體場(chǎng)景和工作流程的部署模型。這種構(gòu)架的好處是，當(dāng)訓(xùn)練好的大模型部署到垂類(lèi)行業(yè)時(shí)，可以不必再重復(fù)訓(xùn)練，成本僅是上一層的5%~7%。

阿里則是為AI打造了一個(gè)統(tǒng)一底座，無(wú)論是CV、NLP、還是文生圖大模型都可以放進(jìn)去這個(gè)統(tǒng)一底座中訓(xùn)練，阿里訓(xùn)練M6大模型需要的能耗僅是GPT-3的1%。

百度和騰訊也有相應(yīng)的布局，百度擁有覆蓋超50億實(shí)體的中文知識(shí)圖譜，騰訊的熱啟動(dòng)課程學(xué)習(xí)可以將萬(wàn)億大模型的訓(xùn)練成本降低到冷啟動(dòng)的八分之一。

整體來(lái)看，各個(gè)大廠之間的側(cè)重點(diǎn)雖然有所不同，但主要特點(diǎn)就是降本增效，而能夠?qū)崿F(xiàn)這一點(diǎn)，很大程度上就是受益于“一手包辦”的閉環(huán)訓(xùn)練體系。

反觀國(guó)外，成熟的AI產(chǎn)業(yè)鏈形成了數(shù)量眾多的AI Infra公司。如果用云計(jì)算三層構(gòu)架做類(lèi)比，AI Infra與PaaS層級(jí)相似，是鏈接算力和應(yīng)用的中間層基礎(chǔ)設(shè)施，包括硬件、軟件、工具鏈和優(yōu)化方法等，為大模型應(yīng)用開(kāi)發(fā)提供一站式模型算力部署和開(kāi)發(fā)工具平臺(tái)。算力、算法、數(shù)據(jù)可以看作IaaS層，各種開(kāi)源和閉源模型則是SaaS在大模型時(shí)代的新演變，即MaaS。

如果把開(kāi)發(fā)AI應(yīng)用看成建房子，那么AI Infra就是提供水泥鋼筋的施工隊(duì)。AI Infra施工隊(duì)的價(jià)值點(diǎn)在于它是一個(gè)集成平臺(tái)，將下層的算力芯片層與上層的AI應(yīng)用層打通，讓開(kāi)發(fā)者實(shí)現(xiàn)一鍵調(diào)用，并且實(shí)現(xiàn)降低算力成本、提升開(kāi)發(fā)效率并且保持模型優(yōu)秀性能的效果。

讓?xiě)?yīng)用更簡(jiǎn)單，讓AI落地更便捷，是AI Infra的使命?？梢哉f(shuō)，AI應(yīng)用的市場(chǎng)有多大，AI Infra的機(jī)會(huì)就有多大。

AI Infra公司有的專(zhuān)門(mén)做數(shù)據(jù)標(biāo)注、做數(shù)據(jù)質(zhì)量、或者模型架構(gòu)等。這些企業(yè)的專(zhuān)業(yè)性，能夠讓他們?cè)谀骋粋€(gè)單一環(huán)節(jié)的效率、成本、質(zhì)量上都要比大廠親自下場(chǎng)做得更好。

比如，數(shù)據(jù)質(zhì)量公司Anomalo就是Google Cloud和Notion的供應(yīng)商，它可以通過(guò)ML自動(dòng)評(píng)估和通用化數(shù)據(jù)質(zhì)量檢測(cè)能力，來(lái)實(shí)現(xiàn)數(shù)據(jù)深度觀察和數(shù)據(jù)質(zhì)量檢測(cè)。

這些公司就像汽車(chē)行業(yè)的Tier 1，通過(guò)專(zhuān)業(yè)的分工，能夠讓大模型企業(yè)不必重復(fù)造輪子，而只需要通過(guò)整合供應(yīng)商資源，就能快速地搭建起自己模型構(gòu)架，從而降低成本。

但國(guó)內(nèi)在這一方面并不成熟，原因在于：一方面國(guó)內(nèi)大模型的主要玩家都是大廠，他們都有一套自己的訓(xùn)練體系，外部供應(yīng)商幾乎沒(méi)有機(jī)會(huì)進(jìn)入；另一方面，國(guó)內(nèi)也缺乏足夠龐大的創(chuàng)業(yè)生態(tài)和中小企業(yè)，AI供應(yīng)商也很難在大廠之外找到生存的空間。

以谷歌為例，谷歌愿意將自己訓(xùn)練的數(shù)據(jù)結(jié)果分享給它的數(shù)據(jù)質(zhì)量供應(yīng)商，幫助供應(yīng)商提高數(shù)據(jù)處理能力，供應(yīng)商能力提升之后，又會(huì)反過(guò)來(lái)給谷歌提供更多高質(zhì)量數(shù)據(jù)，從而形成一種良性循環(huán)。

國(guó)內(nèi)AI Infra生態(tài)的不足，直接導(dǎo)致的就是大模型創(chuàng)業(yè)門(mén)檻的拔高。如果將在中國(guó)做大模型比喻成吃上一頓熱乎飯，那必須從挖地、種菜開(kāi)始。目前，在AI 2.0的熱潮中，一個(gè)重要的特點(diǎn)就是“兩極化”：最熱門(mén)的要么是大模型層、要么就是應(yīng)用層。而類(lèi)似AI Infra的中間層，反而是很大的真空地帶，也可能是下一個(gè)機(jī)遇所在。

伴隨AI應(yīng)用的快速發(fā)展，未來(lái)誰(shuí)能夠?yàn)槎鄻踊膽?yīng)用場(chǎng)景提供高效便捷的大模型一站式部署方案，誰(shuí)就有可能在這場(chǎng)競(jìng)爭(zhēng)中勝出。而這其中，底層技術(shù)、中層平臺(tái)、上層應(yīng)用缺一不可，只有讓各方面能力得到更全面、均衡地發(fā)展，才能在AI之路上走得更遠(yuǎn)、更穩(wěn)健。