出品｜虎嗅科技組

作者｜韋雯

編輯｜苗正卿

頭圖｜Tiiny AI提供

“我們沒想到端側(cè)AI會火的這么快?！?/p>

3月末，Tiiny AI副總裁兼商業(yè)化負責(zé)人Eco Lee向虎嗅復(fù)盤了這款在Kickstarter上迅速爆火的項目時感慨道。

3月中旬，Tiiny AI Pocket Lab小盒子在Kickstarter上線，售價1399美金起，上線僅5小時眾籌突破100萬美元。上一次在該平臺跑出同等速度的，還是2022年的拓竹Bambu Lab X1。短短四年間，拓竹已經(jīng)是營收百億的獨角獸公司。截至發(fā)稿日，Tiiny AI項目已經(jīng)眾籌295萬美元，擁有2093名支持者。

有意思的點是，AI PC市場尚未成熟之前，這個外接盒子先火了。

筆者認為用戶買單的核心原因是，針對搭建本地AI助手的需求，Tiiny AI Pocket Lab給了一個簡單、直接的解決辦法。當(dāng)用戶認為額外單獨買一臺AI PC太貴，部署大模型太麻煩，依賴云端不夠私密，算力又需要每月計算token的時候。它不負責(zé)用戶的日常辦公、不負責(zé)娛樂，只是一個負責(zé)AI需求的外接盒子。

這有些類似，當(dāng)于我們的電腦、手機內(nèi)存不夠，額外買一個移動硬盤的邏輯。Tiiny AI這款產(chǎn)品不做通用計算，只做100B級別模型本地推理，解決了用戶離線隱私、一鍵部署、本地算力的三個最重要的需求。但這個答案究竟是新品類，還是當(dāng)下時代的補丁產(chǎn)品，現(xiàn)在還不能下定論。

想擁有Jarvis，卻找不到合適的硬件

眾籌火爆之下，Eco幾乎每周都能收到20家投資機構(gòu)邀約。

虎嗅獲悉，Tiiny AI背后公司國內(nèi)主體為本智激活，孵化自上海交通大學(xué)并行與分布式系統(tǒng)研究所（IPADS）。2025年完成數(shù)千萬人民幣種子輪融資，由光啟資本領(lǐng)投、BV百度風(fēng)投、光源L2F創(chuàng)業(yè)者基金跟投。團隊2024年在GitHub上的PowerInfer（推理加速引擎）開源項目得到了9100個star。Tiiny AI項目正是從這個明星項目孵化而來。

截圖自GitHub官網(wǎng)

為什么Tiiny AI Pocket Lab會在這個時間節(jié)點火爆？不得不提及的是近期的“龍蝦熱”。OpenClaw等開源項目的火爆，Ollama下載量的暴增，都在表明，火爆的Jarvis需求和消費者能買到的合適的硬件產(chǎn)品中間，存在著一條市場縫隙。

在漫威電影《鋼鐵俠》中，托尼·斯塔克有一個無所不能的AI助手Jarvis。它能對話，控制整棟別墅的設(shè)備，處理海量信息，還能輔助完成最復(fù)雜的技術(shù)工作。現(xiàn)在來看，無論是企業(yè)級用戶，還是極客玩家、專業(yè)用戶，甚至部分大眾用戶，都在搭建屬于自己的“Jarvis”。

Eco Lee向虎嗅表示，TiinyAI的團隊看到了這一需求（Local AI）的爆發(fā)，所以決定下場做一款硬件產(chǎn)品。

具體而言，這款硬件產(chǎn)品猜中三個重要的市場縫隙，并同時指向共同的用戶痛點：云端成本和隱私焦慮；少折騰、低成本的本地AI入口。

首先，云端API足夠方便，但長期成本和隱私是問題。許多的金融、法律、科研從業(yè)者等職業(yè)用戶的隱私和敏感數(shù)據(jù)無法上云。他們強依賴網(wǎng)絡(luò)環(huán)境，但Agent連續(xù)工作場景不穩(wěn)定，因此對Local AI的需求十分強烈。

其次，AI PC越來越普及，但并不是專門服務(wù)本地大模型的設(shè)備。

比方說極客用戶需求已經(jīng)出現(xiàn)，但現(xiàn)有方案太別扭。他們已經(jīng)有一臺高性能電腦，既要處理日常任務(wù)又要運行大模型。電腦的內(nèi)存和算力被大量占用，即便搭載了AMD銳龍AI Max 395處理器、64GB內(nèi)存（國內(nèi)售價14999-17499元），如果運行了大模型，打開網(wǎng)頁都是一件困難的事情。他們需要額外一臺專門為本地大模型推理服務(wù)的設(shè)備，讓主力電腦回歸自己的主業(yè)。

再者，樹莓派和Jetson雖然也能跑起來，但是離消費級體驗還有一段距離。

譬如一些已經(jīng)依賴AI助手的用戶關(guān)注持續(xù)token消耗能力以及長本文積累能力，已經(jīng)嘗試了樹莓派，但是算力嚴重不足，能跑卷積模型（主要用于圖像識別等任務(wù)的神經(jīng)網(wǎng)絡(luò)模型），但跑大模型基本不可用；使用過專為邊緣計算設(shè)計的NVIDIA Jetson系列，但高性能如64GB版的AGX Orin，開發(fā)板本身在美國市場官方定價為1999美元，國內(nèi)商城報價約17599元人民幣，還需要自己額外買SSD存儲，價格十分高昂。

綜合來看，具備一定的算力和內(nèi)存、一鍵部署本地模型、還需要有性價比的Agent Box，才能滿足當(dāng)下用戶群體的急切需求。

因此，Tiiny AI做了減法，Eco Lee向虎嗅表示，Pocket Lab只運行本地LLM，系統(tǒng)完全為AI推理服務(wù)，不去預(yù)裝任何macOS、Linux或Windows等傳統(tǒng)操作系統(tǒng)。但同時，在算力上做加法，Pocket Lab的參數(shù)能夠媲美AI PC。官方參數(shù)190TOPS（INT8）AI 峰值算力，已達到當(dāng)前主流桌面級專業(yè) AI 顯卡的性能水平。

在操作簡易性方面，Tiiny AI Pocket Lab能夠一鍵下載并運行100B以下所有主流開源模型及各類開源AI應(yīng)用。無論手頭的電腦是Mac、Windows還是自組臺式機，只需插入Tiiny設(shè)備，下載Tiiny OS客戶端就可以使用。

換句話說，Tiiny AI的這款產(chǎn)品并不與與AI PC、Mac mini等產(chǎn)品直接競爭。它搶到的是產(chǎn)品類目的真空地帶，它不是電腦，僅提供了一個類似移動硬盤的外接接口，先針對性高敏感數(shù)據(jù)用戶和高頻Agent玩家的本地AI需求。這更像是一個個人AI工作站（類Jarvis）的早期雛形。

Tiiny AI用軟件彌補硬件

Tiiny AI這款產(chǎn)品聰明之處在于，它將一個AI算力硬件包裝成了消費級產(chǎn)品。讓用戶好理解，100B，即插即用。也因此，讓用戶減少購買決策時間。

在這背后，Tiiny AI團隊在技術(shù)上的核心思考是：什么樣的模型能力才能真正滿足這些核心用戶的使用場景？

10B以下的模型價值有限，最多做本地信息檢索、短字符匯總，能力大致相當(dāng)于初高中生水平；30B-70B模型（如Llama-3-70B、Qwen-30B）能勝任每日數(shù)據(jù)分析匯總，甚至簡單代碼生成；70B級別模型能力介于大學(xué)生與研究生之間，可進行長文本創(chuàng)作、深度調(diào)查，并且已經(jīng)具備了邏輯推理，工具調(diào)用的能力，可執(zhí)行24小時不間斷運行的Agent任務(wù)。而300B以上模型，目前仍需依賴云端算力。

所以Tiiny AI選擇了“讓100B級別的模型在本地運行”為這款產(chǎn)品的核心目標(biāo)。主要原因是，100B參數(shù)參考了GPT-OS 120B，這是OpenAI推出的第一款開源權(quán)重模型，其benchmark表現(xiàn)與閉源的GPT-4o相當(dāng)。行業(yè)普遍認為，GPT-4o開始，AI才真正具備了解決實際問題的能力。

從商業(yè)化角度考慮，沒有那么多用戶有預(yù)算購買4090或5090這類售價高達幾萬塊的高端顯卡。因此，Tiiny AI需要用價格盡可能低的硬件資源，運行這樣大的模型。

解法并非直接采購Nvidia或AMD的芯片適配已有的infra生態(tài)。這涉及到Tiiny AI最核心的技術(shù)PowerInfer，一個面向端側(cè)異構(gòu)算力的推理加速引擎。

簡單來說。PowerInfer技術(shù)是在大模型推理過程中，將不同的參數(shù)用不同的芯片存儲、調(diào)用。參數(shù)激活模式會分為兩類：“熱激活參數(shù)”（每次與模型交互都會調(diào)用的核心參數(shù)，約占20%）和“冷激活參數(shù)”（僅在用戶問到醫(yī)學(xué)、法律等特定領(lǐng)域問題時激活）。這種冷熱激活的特性，恰好適合在端側(cè)異構(gòu)算力架構(gòu)下優(yōu)化分配。

其中，GPU（圖形處理器）算力強、速度快，但成本高、功耗大；而CPU（即系統(tǒng)級芯片SoC中的通用計算單元）算力相對較弱，但功耗和硬件要求更低。Tiiny的策略是將冷激活參數(shù)放在SoC（Armv9.2 CPU+NPU 30TOPS）中處理，將熱激活參數(shù)放在dNPU（160TOPS）中處理。Tiiny AI采用的dNPU是專門為Transformer架構(gòu)設(shè)計的ASIC（專用集成電路），去除了圖形渲染等無關(guān)電路，專為大模型推理優(yōu)化。

虎嗅獲悉一組實測數(shù)據(jù)：120B模型下，prefill（預(yù)填充階段，即AI“思考”）速度可達300 tokens/s，decoding （解碼輸出階段，即AI“說話”）跑到20tokens/s；35B模型下，prefill約2000 tokens/s，decoding可達45 tokens/s。作為參照，人類閱讀速度僅8-12token/s。從參數(shù)表現(xiàn)來看，這套方案已能媲美高端AI工作站的運行效率。

這套方案的核心邏輯是軟件調(diào)度優(yōu)于硬件堆料，聰明的軟件，能夠彌補硬件的不足。Eco Lee解釋，這些屬于AI Infra層面的技術(shù)積累。從芯片層到Agent調(diào)度層，再到模型訓(xùn)練層，都需要深厚的knowhow支撐。相比軟件實力，硬件在這個賽道已經(jīng)不算門檻。

當(dāng)功耗變小，它的體積自然變小。但是30W的TDP對于300g的金屬機身來說，通常需要小型風(fēng)扇進行主動散熱；如果是純被動散熱，表面溫度可能會超過60℃，導(dǎo)致長期使用燙手。對此，Tiiny AI在眾籌界面解釋，專門定制了薄至1.0mm VC 125*45mm + 雙胞胎風(fēng)扇，其FIN與FAN是搭接一體化設(shè)計，更利于解決局域化散熱，靜音（35db以內(nèi)）。

從下圖可以看到Tiiny這款產(chǎn)品中增加了勻熱片配合散熱模組一同進行風(fēng)冷散熱。不過目前虎嗅也尚未接觸產(chǎn)品實物，尚不清楚其具體表現(xiàn)。

一些質(zhì)疑聲

在這些參數(shù)背后，筆者注意到，海外行業(yè)觀察者從傳統(tǒng)dense模型和單一算力指標(biāo)的角度提出疑問：

例如，Tiiny宣傳“120B大模型”，但該模型實際為MoE架構(gòu)，每個token僅激活約51億參數(shù)。嚴格來說，這與“運行1200億參數(shù)模型”的技術(shù)含義存在距離；其次，關(guān)于算力宣傳，190TOPS的AI算力，可能是將NPU、GPU等不同計算單元的理論峰值簡單相加得出的，不同架構(gòu)的算力不宜直接累加對外宣傳。

當(dāng)然，這些問題僅僅涉及MoE、異構(gòu)計算的市場營銷表述層面，這類表述已經(jīng)成為行業(yè)慣例，并非否定Tiiny的技術(shù)價值。在兩個月前的美國CES展，Tiiny AI團隊已經(jīng)展現(xiàn)出技術(shù)實力，將Pocket Lab通過USB-C接口，連接到一臺2011年生產(chǎn)的老舊電腦。完全離線的情況下，在這臺“電子古董”的屏幕上，GPT-OSS-120B（int4）以20tokens/s的速度跑起來了。

再者，關(guān)于內(nèi)存配置。80GB內(nèi)存分布在dNPU和SoC兩個不同芯片上，并非全部可用于模型推理的統(tǒng)一內(nèi)存池。主要原因是，質(zhì)疑者認為，80GB內(nèi)存分布在兩個芯片上，受PCIe帶寬限制會影響性能。

對此，Tiiny AI在Kickstarter上進行了回復(fù)：針對“內(nèi)存帶寬可能成為性能瓶頸”的質(zhì)疑，Tiiny AI解釋，將熱激活參數(shù)（運行在NPU）與冷激活參數(shù)（運行在SoC）進行合并的過程，并不受PCIe帶寬的限制。

通俗來講，PCIe相當(dāng)于芯片之間傳輸數(shù)據(jù)的“高速公路”，PCIe Gen4 x4這條“路”的限速約為8 GB/s。但Tiiny指出，這個限速只適用于大批量數(shù)據(jù)傳輸?shù)膱鼍?。而冷熱激活參?shù)的合并，實際傳輸?shù)臄?shù)據(jù)量極小。Tiiny AI以GPT-OSS-120B為例解釋，這個模型每次需要跨PCIe傳輸?shù)臄?shù)據(jù)僅約5.625 KB，傳輸耗時只有毫秒級的一小部分。由于數(shù)據(jù)量遠低于帶寬上限，PCIe鏈路并不會成為合并過程的瓶頸。

另外的質(zhì)疑聲來自交付時間。關(guān)于為何在8月才能交付，Eco Lee向虎嗅解釋，從有Tiiny的想法到3月眾籌上線，已經(jīng)研發(fā)了13個月了，等眾籌結(jié)束后馬上能進入量產(chǎn)狀態(tài)；其次，在這期間公司還有一道“認證”的坎要過。比如美國一定要配備的認證FCC ，加拿大的ISED、歐洲的CE以及RoHS、REACH等認證。公司從1月起就在籌備TIiny的認證和合規(guī)，預(yù)估在6月底前能完全具備產(chǎn)品交付的合規(guī)資質(zhì)。

在生產(chǎn)制造環(huán)節(jié)， Tiiny AI的合作伙伴是全球PC制造頭部廠商LCFC，今年 5 月會在越南LCFC生產(chǎn)。Tiiny AI向虎嗅介紹，LCFC 認可 Tiiny 的產(chǎn)品形態(tài)及其代表的端側(cè) AI 設(shè)備發(fā)展方向，也正因為有他們成熟的品控和制造能力在，才能穩(wěn)穩(wěn)保證Tiiny產(chǎn)品的交付質(zhì)量。

總的來看，Tiiny AI這個小盒子證實了個人AI工作站的真實需求，也摸清了用戶場景，本地AI不會先成為大眾硬件，而是先成為專業(yè)用戶的生產(chǎn)工具；AgentBox或許只是窗口期品類，但已經(jīng)切中了高敏感數(shù)據(jù)用戶和高頻Agent玩家的迫切需要，成為今年AI硬件行業(yè)的確定性趨勢。

本文來自虎嗅，原文鏈接：https://www.huxiu.com/article/4848076.html?f=wyxwapp