除了卷價格，參與者還需努力提升自身的“護城河”。

文｜何彬 編｜張弘一

出品｜數(shù)智Tech

國內(nèi)大模型陷入了“冰火兩重天”。

一面是OpenAI發(fā)出封禁郵件、冷臉“脫鉤”，另一面是國產(chǎn)大模型摩拳擦掌、“搬家搶客”。

近日，包括通義千問、文心一言、騰訊混元、商湯科技、智譜AI、百川智能、月之暗面、零一萬物、MiniMax等在內(nèi)的國產(chǎn)大模型均表示要開放接口，以降價或免費的方式兼容OpenAI。

繼今年5月底結(jié)束價格戰(zhàn)，大模型從“厘”跨入“免費”時代以來，頗有硝煙再起之勢。但數(shù)智Tech在調(diào)研了多位AI大模型行業(yè)人士后，發(fā)現(xiàn)B端開發(fā)者的“遷徙”意愿并不高，多數(shù)仍在觀望，“OpenAI的檢測技術(shù)和范圍尚不明確，暫時不會有太多行動?！?/p>

一位獨立開發(fā)者告訴數(shù)智Tech，“OpenAI的措施主要針對B端‘套殼’大模型開發(fā)商，限制執(zhí)行地沒想象中嚴(yán)格，仍可使用海外服務(wù)器或通過創(chuàng)建反向代理來訪問ChatGPT的API?！?/p>

某大廠技術(shù)總監(jiān)認(rèn)為，短時間內(nèi)國內(nèi)創(chuàng)業(yè)者和開發(fā)者不會貿(mào)然“搬家”，“畢竟在語料數(shù)據(jù)和對比效果上，OpenAI提供的代碼和分析邏輯數(shù)據(jù)相對優(yōu)質(zhì)?！?/strong>

有受訪者進一步對數(shù)智Tech表示，OpenAI的購買成本不高，開發(fā)者在沒被完全屏蔽掉時，更替意愿不強。目前GPT-4 API的收費標(biāo)準(zhǔn)是每一千個Prompt token收費0.03美元，每一千個Completion token收費0.06美元。

商星環(huán)科技創(chuàng)始人孫元浩也指出，目前國產(chǎn)大模型卷價格對企業(yè)用戶幫助不大，因為它們對模型的精準(zhǔn)度要求更高，市場上最大參數(shù)的模型也未必能達到。

大模型好用與否的關(guān)鍵在于高質(zhì)量語料。不論是數(shù)據(jù)集質(zhì)量還是維度，國內(nèi)大模型的行業(yè)數(shù)據(jù)和企業(yè)專屬數(shù)據(jù)還不夠豐富，且用戶增長乏力。加上精準(zhǔn)度不高，導(dǎo)致行業(yè)人士“搬遷”意愿低。

種種制約下，國產(chǎn)大模型的高質(zhì)量成長，似乎又陷入了一個“惡循環(huán)”。

有從業(yè)者稱，如果數(shù)據(jù)庫中缺乏有用的語料，大模型往往只學(xué)到“皮毛”，生成答案也只是“泛泛而談”。一旦在訓(xùn)練過程中學(xué)習(xí)到了不精確的內(nèi)容，大模型生成的答案就會“變形”。加上大模型是基于概率生成答案，沒有足量的優(yōu)質(zhì)數(shù)據(jù)做支撐，國產(chǎn)大模型很難保證返回答案的正確性。

大模型的下個階段，競爭只會更激烈。參與者要想不被推下“牌桌”，除了卷價格，還必須要努力提升自身的“護城河”。在應(yīng)用場景落地層面，因模型精準(zhǔn)度不高和效果不佳，它們還有漫長的一段路要走。

01

模型精度，

不是聯(lián)網(wǎng)就能做到

這次OpenAI關(guān)停API接口，在一些人看來是機遇，“為國產(chǎn)大模型打開了一扇窗?！?/p>

一位從事電商數(shù)據(jù)分析工作的人士向數(shù)智Tech透露，其所在公司正與幾家國產(chǎn)大模型接觸，“技術(shù)上國產(chǎn)大模型已達標(biāo)，且中文語料的理解力較強，不足的數(shù)據(jù)質(zhì)量部分還需產(chǎn)業(yè)上下游打通。同時，國產(chǎn)大模型目前都能提供免費的定制化技術(shù)和客戶服務(wù)，不論是從成本還是覆蓋范圍上看，都能滿足中型體量企業(yè)的需求”。

一位正與該電商公司接觸作的國產(chǎn)大模型企業(yè)內(nèi)部員工告訴數(shù)智Tech，為了優(yōu)化模型精度，逃離價格“內(nèi)卷”，公司自去年開始就在研究并借鑒谷歌的檢索文檔技術(shù)，今年上線的最新版本將部署“先檢索再生成”的RAG （Retrieval and Generation）技術(shù)來提高文本準(zhǔn)確率。

目前已有多家國產(chǎn)大模型公司如百融云創(chuàng)、智譜AI等已引入RAG技術(shù)。海外的英特爾也在今年5月表示，Llama 270B模型將搭配RAG技術(shù)用以強化私有LLM應(yīng)用。

所謂RAG，即傳統(tǒng)的生成模型嚴(yán)重依賴于內(nèi)部記憶，通過調(diào)取模型訓(xùn)練的數(shù)據(jù)來生成文本或解答問題。這樣一來，數(shù)據(jù)準(zhǔn)確率存在局限性。

我們可以理解成，傳統(tǒng)的生成模型就像一位老牌廚師，腦子里自有一套食譜，在廚房里只需按照記憶的菜譜進行烹飪即可。

當(dāng)RAG模型處理任務(wù)時，則像一位手邊有手機的廚師，他隨時調(diào)取互聯(lián)網(wǎng)里海量的食譜和調(diào)味方法，靈活將其應(yīng)用在烹飪的料理中。通過RAG模式訓(xùn)練的大模型，不僅能兼容傳統(tǒng)語料訓(xùn)練中的反應(yīng)力和表達力，且能調(diào)用語料庫外海量的文本和圖片模態(tài)，結(jié)合過往習(xí)得的歸納、總結(jié)、判斷能力，提高回答的準(zhǔn)確性，壓縮用戶的信息篩選和理解時間，從而提高利用效能。

不過該人士也指出，對于尚處在成長階段的國產(chǎn)大模型而言，如何保證檢索質(zhì)量和生成一致性，并不是聯(lián)網(wǎng)就能做到。

首先，在檢索質(zhì)量方面，如何訓(xùn)練一個高質(zhì)量的檢索模型就是挑戰(zhàn)。該從業(yè)者解釋道，雖然目前行業(yè)內(nèi)普遍采用的密集向量檢索模型（BERT）能夠提高檢索結(jié)果的相關(guān)性，但其計算復(fù)雜度高，訓(xùn)練和推理需大量的計算和電力資源。

雖然結(jié)合傳統(tǒng)的檢索方法（如BM25）和現(xiàn)代的深度學(xué)習(xí)檢索模型可以綜合優(yōu)勢，但兩者如何有效融合也是一個難點。

他表示，盡管多輪檢索和重排序機制可以提高檢索質(zhì)量，但也增加了系統(tǒng)的復(fù)雜性和計算成本。要想實現(xiàn)上下文敏感檢索，還需對模型進行復(fù)雜優(yōu)化；在反饋機制方面，如何收集和利用用戶反饋數(shù)據(jù)，也需更有效的策略和技術(shù)手段；在生成一致性方面，為了對生成的回答進行一致性驗證，需在模型中引入一致性檢查機制。但額外訓(xùn)練一個一致性判別模型，就意味著企業(yè)要投入額外的資源和數(shù)據(jù)。

同時，一致性檢查機制雖然可以通過約束生成保持內(nèi)容一致性，但也可能限制生成模型的靈活性和多樣性。

就如何提高模型對于不同模態(tài)信息整合和校對的一致性層面，他提出，未來國產(chǎn)大模型還需建立多任務(wù)學(xué)習(xí)框架來提高模型的泛化能力。但多任務(wù)學(xué)習(xí)訓(xùn)練復(fù)雜度高，且不同任務(wù)間的干擾，也是亟待解決的問題。

種種制約因素下，AI廠商還需持續(xù)性大量投入AB test來提高檢索質(zhì)量和一致性。

02

從多模態(tài)到跨模態(tài)，

“微調(diào)”決定應(yīng)用效果

當(dāng)模型精度的議題被提上日程，大模型的應(yīng)用效果該如何提升？

以醫(yī)療領(lǐng)域為例，一位AI大模型從業(yè)者向數(shù)智Tech稱，其所在公司今年的訓(xùn)練重點，是進行醫(yī)學(xué)影像圖片分割參數(shù)的微調(diào)。

他解釋道，醫(yī)療一個高敏感度的領(lǐng)域，不同疾病和不同器官的醫(yī)學(xué)影像特征差異顯著。而傳統(tǒng)預(yù)訓(xùn)練模型往往是在大規(guī)模通用數(shù)據(jù)集上訓(xùn)練的，不經(jīng)過細顆?；奈⒄{(diào)，在醫(yī)學(xué)影像上應(yīng)用效果的偏差很大。

目前在醫(yī)學(xué)AI領(lǐng)域已經(jīng)實現(xiàn)了多模態(tài)解析醫(yī)學(xué)影像。但模型在解析過程中，如何讓它實現(xiàn)除了接受、處理文本和圖像信息外，還能實現(xiàn)文本和圖像內(nèi)容二者的跨模態(tài)解析，是這一輪參數(shù)微調(diào)的關(guān)鍵。

一言以蔽之，多模態(tài)涉及不同影像和文本數(shù)據(jù)的解析，而跨模態(tài)則專注于不同影像和文本之間進行的數(shù)據(jù)轉(zhuǎn)換和信息融合。從多模態(tài)到跨模態(tài)過程中，微調(diào)成了決定應(yīng)用效果的關(guān)鍵一環(huán)。

以醫(yī)學(xué)影像方向為例，要想實現(xiàn)跨模態(tài)良好的應(yīng)用效果呈現(xiàn)，從數(shù)據(jù)預(yù)處理開始，就需對不同模態(tài)的圖像進行二次標(biāo)準(zhǔn)化替換，提高影像的分辨率，并進行圖像配準(zhǔn)，使得同一解剖結(jié)構(gòu)在不同影像圖片（X光片、CT、核磁共振等）中實現(xiàn)毫米級對應(yīng)。并通過旋轉(zhuǎn)、縮放、平移等操作方式增加數(shù)據(jù)量，增強模型精準(zhǔn)度。

面對人體復(fù)雜的器官和組織結(jié)構(gòu)，在微調(diào)預(yù)訓(xùn)練過程中，開發(fā)者們還需要在訓(xùn)練中不斷通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）提取圖像特征，并針對不同模態(tài)定制特征提取器，然后在下個階段進行不同層次的特征融合。

“早期要在數(shù)據(jù)輸入階段進行文本融合，中期則是圖像融合，后期則要在初步分類后對多模態(tài)進行雙向融合?！痹搹臉I(yè)者稱，要實現(xiàn)絲滑的融合，微調(diào)技術(shù)是“壓艙石”。

此外，在模型預(yù)訓(xùn)練微調(diào)時期，模型開發(fā)者們還需針對如腫瘤檢測、器官分割等不同任務(wù)，進一步優(yōu)化模型參數(shù)，并運用遷移技術(shù)和標(biāo)注影像數(shù)據(jù)集，將預(yù)訓(xùn)練模型應(yīng)用到新的數(shù)據(jù)集上，減少訓(xùn)練時間并提高模型性能。

跨模態(tài)學(xué)習(xí)本質(zhì)上是通過技術(shù)將一種模態(tài)的圖像生成另一種模態(tài)的圖像或文本，從而實現(xiàn)模態(tài)間的轉(zhuǎn)換。這就要求開發(fā)者們在微調(diào)過程中不斷引入新技術(shù)（如循環(huán)一致性損失技術(shù), CycleGAN），并使用跨模態(tài)匹配網(wǎng)絡(luò)，如跨模態(tài)對比學(xué)習(xí)，來訓(xùn)練模型適應(yīng)不同模態(tài)間的共同特征，從而確保轉(zhuǎn)換后的圖像能夠順利還原為原模態(tài)。

盡管微調(diào)聽起來像是在原有基礎(chǔ)上添磚加瓦，但實際操作并不比初始輕松?！坝绕溽t(yī)療行業(yè)，對誤差容錯率低，基礎(chǔ)模型難培育應(yīng)有場景的一大根本就是顆粒太粗，不能產(chǎn)生直接的落地效果?！痹搹臉I(yè)者表示。

要想實現(xiàn)跨模態(tài)轉(zhuǎn)換，他認(rèn)為開發(fā)者們需在微調(diào)階段，大批量大規(guī)模地對同一患者的不同部位進行多次多角度拍攝，以喂養(yǎng)模型。等到了數(shù)據(jù)標(biāo)注階段，還需要投入大量具備專業(yè)知識的醫(yī)學(xué)相關(guān)人員做輔助，標(biāo)注和校對過程繁瑣，全權(quán)依賴人力，在這一過程中容易引入誤差。

其次，由于不同模態(tài)的圖像有不同的成像原理，圖像特征差異難對齊，圖像的空間分辨率和對比度差異大，都為模型微調(diào)增加了工作復(fù)雜性。

此外，模型微調(diào)對算力資源也是一大挑戰(zhàn)，特別是在進行多模態(tài)融合和跨模態(tài)轉(zhuǎn)換時，訓(xùn)練復(fù)雜的深度學(xué)習(xí)模型需要長時間計算，且容易不穩(wěn)定。

需要注意的是，機器深度學(xué)習(xí)往往是黑箱模型，開發(fā)者們難向客戶解釋其決策具體過程。在醫(yī)療領(lǐng)域，如何開發(fā)具有可視效果的解釋模型以便醫(yī)生們理解和信任，也是醫(yī)療AI模型的探索和實現(xiàn)商業(yè)化落地的一大關(guān)鍵。

“當(dāng)前國產(chǎn)大模型已初具規(guī)模，不論是行業(yè)型還是通用型AI，參數(shù)微調(diào)都將成為下一階段各大廠商的‘護城河’?！痹撊耸糠Q，不僅是醫(yī)療大模型，目前針對B端市場的行業(yè)AI整體處于成長期，隨著數(shù)據(jù)的海量增加，算法模型愈加復(fù)雜，應(yīng)用場景的落地效果會在探索中逐步顯現(xiàn)，市場更應(yīng)該集體減緩焦慮，扎根和縱深行業(yè)。

他表示，如果把國產(chǎn)AI比作一輛多功能汽車，前兩年基本實現(xiàn)了能跑，現(xiàn)在到了需要對這輛車進行個性化調(diào)整，增加用戶體驗感的時候。而‘微調(diào)’就像是根據(jù)車主的駕駛習(xí)慣和常用路線，調(diào)整座椅、設(shè)置導(dǎo)航偏好等，只有這樣，這輛汽車才得開地舒服、舒心?！?/p>

如今處于爆發(fā)前夜的國產(chǎn)大模型，一手抓模型技術(shù)，一手抓商業(yè)價值。在爭分奪秒的卷拼中，誰能真正落地應(yīng)用，產(chǎn)出利潤，誰才能笑到最后。