緊湊型人工智能設(shè)備正日益走向主流，而一家新興初創(chuàng)企業(yè)則突破技術(shù)壁壘，推出了全球最小的人工智能超級計算機，這款設(shè)備的紙面參數(shù)十分亮眼。

初創(chuàng)公司TiinyAIAI Pocket Lab 搭載全新ARM v9.2 架構(gòu)核心，可流暢運行 1200 億參數(shù)大語言模型。

邊緣人工智能已成為計算產(chǎn)業(yè)的新興賽道，核心優(yōu)勢在于將開源模型部署在本地設(shè)備，能夠?qū)崿F(xiàn)更具個性化的任務(wù)處理。但這類技術(shù)方案通常需要高昂的硬件成本支撐—— 以英偉達(dá) DGX Spark 為例，其售價高達(dá) 4000 美元，普通消費者難以負(fù)擔(dān)。

初創(chuàng)公司 Tiiny AI 計劃填補這一市場空白，不僅推出了高性價比解決方案，更帶來了號稱 “全球最小” 的超級計算機——Tiiny 人工智能口袋實驗室AI Pocket Lab ）

這款設(shè)備的尺寸僅為 14.2×8×2.53 厘米，重量僅 300 克，卻能部署 1200 億參數(shù)大語言模型，這一突破堪稱業(yè)界首創(chuàng)。官方稱，適配該設(shè)備的大語言模型可滿足 “博士級推理、多步驟分析及深度語境理解” 需求。憑借強大的端側(cè)算力，這款口袋實驗室不僅面向普通消費者，更能為需開展本地大模型部署實驗的科研人員與開發(fā)者提供理想平臺。

據(jù) Tiiny AI 披露，該設(shè)備兼容 GPT-OSS、Llama、通義千問、Deepseek、Mistral 及 Phi 等主流大模型。其核心亮點在于，內(nèi)置獨立神經(jīng)網(wǎng)絡(luò)處理單元（NPU），算力可達(dá) 190 萬億次運算 / 秒（TOPS）；同時配備 80GB LPDDR5X 高速內(nèi)存，支持激進(jìn)量化技術(shù)，確保 1200 億參數(shù)模型在本地環(huán)境下流暢運行。

此外，Tiiny AI 研發(fā)了兩項關(guān)鍵技術(shù)，讓 1200 億參數(shù)模型的端側(cè)落地成為現(xiàn)實：

1.TurboSparse 稀疏激活技術(shù)：在神經(jīng)元層面實現(xiàn)稀疏激活，可在完整保留模型智能的前提下，大幅提升推理效率。

2.PowerInfer 異構(gòu)推理引擎：這款開源引擎在 GitHub 上已收獲超 8000 星標(biāo)，能夠動態(tài)分配 CPU 與 NPU 的算力負(fù)載，加速大語言模型的高負(fù)載運算，以遠(yuǎn)低于傳統(tǒng)方案的功耗，實現(xiàn)媲美服務(wù)器級別的性能表現(xiàn)。

依托這兩項技術(shù)，Tiiny 人工智能口袋實驗室得以實現(xiàn)原本需要數(shù)千美元專業(yè)圖形處理器（GPU）才能具備的算力水平。

據(jù)悉，該設(shè)備將于2026 年國際消費電子展（CES）正式亮相。盡管目前 Tiiny AI 尚未公布具體發(fā)售日期與上市信息，但這款口袋超級計算機的市場前景已備受矚目，其行業(yè)首秀的表現(xiàn)值得期待。

AMD 技術(shù)峰會邀請報名：FPGA/SoC+x86嵌入式

報名通道即將關(guān)閉