你有沒有注意到，在昨晚的蘋果WWDC大會上，除了褒貶不一的新iOS系統(tǒng)之外，整個資本市場和開發(fā)者們真正關(guān)注的都是，蘋果下一代系統(tǒng)和AI之間的關(guān)系會是什么樣的。

蘋果也確實(shí)給出了他們的答案，簡單來說就是：蘋果正式開放了本地語言模型的API。

是的，那一刻起，我們手上的iPhone，不再只是一個拍照好、生態(tài)強(qiáng)的消費(fèi)電子產(chǎn)品，而是真正擁有了“AI大腦”的能力。

但很快你會發(fā)現(xiàn)，即便蘋果這次開放的本地模型性能對標(biāo)GPT-3.5，開發(fā)者要真正在端側(cè)跑起來AI應(yīng)用，仍然會遇到一個老問題：慢。不只是模型體積問題，更是推理速度不夠快，尤其在處理長文本任務(wù)時，性能掉得厲害。

然而，就在幾乎同一時間，一家國產(chǎn)AI團(tuán)隊(duì)發(fā)布了一個性能驚人的新模型——MiniCPM 4.0。他們在端側(cè)處理128K長文本時，實(shí)現(xiàn)了常規(guī)場景5倍提速，解碼速度最高220倍提升，并且開源了。

本地模型的黃金時代正在開啟

我們都知道云端大模型雖然強(qiáng)大，但也貴得離譜，AI創(chuàng)業(yè)者經(jīng)常要面對這樣一個選擇：

• 用云端大模型，用戶體驗(yàn)好，但成本跟著調(diào)用次數(shù)線性上漲，越火越虧錢；

• 用云端低成本模型，雖然能控成本，但要么模型效果差，要么依然無法解決本地運(yùn)行的隱私問題，用戶留不住。

本地模型（也叫“端側(cè)模型”）則是這一局博弈中的“第三條路”：

1. 響應(yīng)快：所有計(jì)算本地完成，沒有網(wǎng)絡(luò)延遲。

2. 更安全：隱私數(shù)據(jù)不出設(shè)備，天然符合合規(guī)要求。

3. 不花錢：開發(fā)者不再為每次調(diào)用買單，邊際成本幾乎為零。

蘋果這次的發(fā)布就是在推這件事：把基礎(chǔ)模型塞進(jìn)每臺iPhone、iPad、Mac里，直接變成AI開發(fā)的“新基建”。而這對模型廠商來說，意味著一個億級設(shè)備體量的新戰(zhàn)場已經(jīng)打開。

MiniCPM 4.0

說回MiniCPM 4.0，它來自一家名叫面壁智能的團(tuán)隊(duì)，專注做端側(cè)模型已經(jīng)很多年，這次他們做出了一個極具想象力的“小鋼炮”。

在極限場景下，MiniCPM 4.0的長文本推理速度可以實(shí)現(xiàn)最快220倍提升，常規(guī)場景下也有5倍提速。對于端側(cè)設(shè)備來說，這不是性能優(yōu)化，這是質(zhì)變：

• 以前手機(jī)只能做簡單問答，現(xiàn)在可以一秒內(nèi)讀懂整篇論文、分析代碼，真正成為生產(chǎn)力工具；

• 原本AI對話還會卡頓，現(xiàn)在你點(diǎn)一下模型就瞬間回你；

• 不需要聯(lián)網(wǎng)，不依賴云端，你自己的AI，離你更近了。

要在手機(jī)、PC等端側(cè)設(shè)備上實(shí)現(xiàn)這么夸張的提速，我覺得實(shí)在是有點(diǎn)離譜，所以我很好奇MiniCPM是怎么做到的，國產(chǎn)大模型公司怎么會有那么多“黑科技”。

所以，為了搞懂這件事，我把面壁這次隨模型發(fā)布的43頁開源論文《MiniCPM4: Ultra-EfficientLLMson End Devices》丟給了AI，嘗試進(jìn)行理解。我覺得用一句話概括就是：不是簡單“減肥”，而是“系統(tǒng)級瘦身 + 增強(qiáng)”。

他們的速度升級來自四個層面的創(chuàng)新：

1. 架構(gòu)層：采用升級版的稀疏注意力機(jī)制 InfLLM v2，只計(jì)算最相關(guān)的信息，大幅減少計(jì)算量；

2. 訓(xùn)練層：只用同類模型22%的訓(xùn)練數(shù)據(jù)，就達(dá)到了相當(dāng)甚至更強(qiáng)的能力；

3. 推理層：自研 CPM.cu 推理框架，結(jié)合量化、投機(jī)解碼等技術(shù)，實(shí)現(xiàn)了輕量級、低延遲的本地運(yùn)行；

4. 系統(tǒng)層：通過 ArkInfer 框架，實(shí)現(xiàn)跨平臺端側(cè)部署，適配主流芯片，如高通、華為、Intel等。

這里可以特別說一句：雖然蘋果開放了模型API，但真正要把模型“跑起來”，一個高效穩(wěn)定的推理框架幾乎是剛需。而這類框架在開源社區(qū)中其實(shí)非常稀缺。面壁這次隨MiniCPM 4.0一起開源的ArkInfer和CPM.cu組合，恰好補(bǔ)上了這個缺口——不僅跑得快、平臺適配廣，而且開發(fā)門檻低，幾行代碼就能部署到端側(cè)，這對于開發(fā)者來說是非常實(shí)用的“剛需型工具”。

簡單來說，這不是靠“堆GPU”搞出來的，而是像F1賽車一樣，每一寸系統(tǒng)都在為效率而生。

不止是“快”

AI開發(fā)者會知道，這種從“幾秒”到“幾百毫秒”的體驗(yàn)提升，會引發(fā)三個重要變化：

首先，用AI交互變得說話一樣順暢，無論是旅行場景下的實(shí)時翻譯、智能助理還是游戲NPC，瞬時響應(yīng)會成為“標(biāo)配體驗(yàn)”；

其次，更多AI任務(wù)可以本地完成，比如信息摘要、文檔寫作、代碼生成，對于現(xiàn)在少了AI幾乎就不會做任何工作的我來說，坐飛機(jī)、高鐵等網(wǎng)絡(luò)不穩(wěn)定的場景下，我也能工作了；

最后是開發(fā)者生態(tài)被重新激活，未來不僅是手機(jī)App，還有無數(shù)穿戴設(shè)備、邊緣終端，都可以跑得動自己的AI。以我自己來說，雖然我已經(jīng)用AI開發(fā)了很多產(chǎn)品，但少有AI產(chǎn)品，因?yàn)樽鲇蠥I功能的產(chǎn)品面臨的最直接的問題就是成本問題，你需要能保證你提供的產(chǎn)品價(jià)值能覆蓋調(diào)用的AI API成本，而且你需要思考清楚商業(yè)策略讓用戶愿意付費(fèi)，這期是難倒了一大批的獨(dú)立開發(fā)者，也會讓你做產(chǎn)品時很難抉擇，但是端側(cè)模型的“0成本”調(diào)用完全可以解放這部分估計(jì)，你只需要去想象創(chuàng)新的可能就好了。

AI在你手上

蘋果率先提供了端側(cè)AI的舞臺（估計(jì)Google為安卓系統(tǒng)提供的模型也快趕上了），而MiniCPM 4.0讓我們看到真正能“跑起來”的主角長什么樣。

隨著模型越來越高效、部署越來越便捷，我們正站在一個新階段的門口：

AI不再只是“線上服務(wù)”，而是像操作系統(tǒng)、電池一樣，成為每臺設(shè)備的內(nèi)建能力。

就像智能手機(jī)點(diǎn)燃了App經(jīng)濟(jì)那樣，下一輪AI浪潮，將由“跑得動”、“用得上”、“快到飛起”的端側(cè)模型引爆。

而MiniCPM 4.0，就是那臺準(zhǔn)備好沖線的“AI小鋼炮”。

如果你是開發(fā)者，強(qiáng)烈推薦去 GitHub 看看這款模型的表現(xiàn)；這是個從模型參數(shù)到預(yù)訓(xùn)練數(shù)據(jù)集，再到端側(cè)推理框架都開源的真開源模型；

如果你是AI產(chǎn)品創(chuàng)業(yè)者，不妨考慮下下一版是不是可以用端側(cè)方案來做出點(diǎn)“爽感”不一樣的體驗(yàn)；

畢竟，在今天的大模型時代，“快”從來不是一個小指標(biāo)，它可能是一整個產(chǎn)品邏輯的起點(diǎn)。

MiniCPM GitHub鏈接：https://github.com/OpenBMB/MiniCPM

Huggingface鏈接：https://huggingface.co/openbmb/MiniCPM4-8B

43頁開源論文：https://github.com/OpenBMB/MiniCPM/blob/main/report/MiniCPM_4_Technical_Report.pdf

https://arxiv.org/pdf/2506.07900