樹(shù)莓派推出了 AI HAT+ 2，配備了 8 GB 的內(nèi)存和 Hailo-10H 神經(jīng)網(wǎng)絡(luò)加速器，專(zhuān)為本地 AI 計(jì)算而設(shè)計(jì)……

從規(guī)格上看，這款產(chǎn)品非常出色。AI HAT+ 2 提供 40 TOPS (INT4) 的推理性能。Hailo-10H 芯片旨在加速大型語(yǔ)言模型 (LLMs)、視覺(jué)語(yǔ)言模型 (VLMs) 和“其他生成性 AI 應(yīng)用程序”。

計(jì)算機(jī)視覺(jué)性能大約與之前的 AI HAT+ 模型的 26 TOPS (INT4) 性能相當(dāng)。

這些組件和 8 GB 的板載 RAM 應(yīng)該可以減輕樹(shù)莓派的負(fù)擔(dān)，因此如果您需要一個(gè) AI 協(xié)處理器，就不需要耗盡樹(shù)莓派的內(nèi)存（盡管稍后會(huì)詳細(xì)說(shuō)明）。

硬件插入樹(shù)莓派的 GPIO 連接器（我們使用了一個(gè) 8 GB 的樹(shù)莓派 5 來(lái)進(jìn)行測(cè)試），并通過(guò)樹(shù)莓派的 PCIe 接口進(jìn)行通信，就像它的前身一樣。它配備了一個(gè)“可選”的被動(dòng)散熱片 – 您肯定需要一些冷卻解決方案，因?yàn)樾酒瑫?huì)發(fā)熱。還附帶了墊片和螺絲，可以將電路板安裝到帶有公司主動(dòng)冷卻器的樹(shù)莓派 5 上。

運(yùn)行它只是簡(jiǎn)單地下載一份新的 Raspberry Pi 操作系統(tǒng)并安裝所需的軟件組件。AI 硬件是由 rpicam-apps 應(yīng)用程序直接支持的。

在使用過(guò)程中，它的表現(xiàn)很好。我們結(jié)合使用了 Docker 和 hailo-ollama 服務(wù)器，運(yùn)行 Qwen2 模型，在 Pi 上本地運(yùn)行時(shí)，我們沒(méi)有遇到任何問(wèn)題。

然而，雖然 8 GB 的內(nèi)存是一個(gè)不錯(cuò)的賣(mài)點(diǎn)，但考慮到 AI 應(yīng)用對(duì)內(nèi)存的巨大需求，這似乎有點(diǎn)不夠。此外，可以選擇價(jià)格更高的 16 GB 內(nèi)存的 Pi 5。

接下來(lái)是計(jì)算機(jī)視覺(jué)，它的性能與早期的 AI HAT+ 基本相同，都是 26 TOPS (INT4)。對(duì)于需要進(jìn)行視覺(jué)處理的用戶(hù)，很難說(shuō)推薦價(jià)格為 130 美元的 AI HAT+ 2，而不推薦現(xiàn)有的 AI HAT+，甚至是 70 美元的 AI 攝像頭。

在需要 LLM 工作負(fù)載的地方，AI HAT+ 2 板上的 RAM 將緩解負(fù)擔(dān)（盡管購(gòu)買(mǎi)一臺(tái)內(nèi)存更大的 Pi 也是一個(gè)值得考慮的選擇）。根據(jù)樹(shù)莓派的說(shuō)法，DeepSeek-R10-Distill、Llama3.2、Qwen2.5-Coder、Qwen2.5-Instruct 和 Qwen2 將在發(fā)布時(shí)上線。所有模型（除了 Llama3.2）都是 15億參數(shù)的模型，公司表示未來(lái)的更新中會(huì)推出更大的模型。

與云巨頭所運(yùn)行的模型相比，這個(gè)規(guī)模相比之下顯得較小（樹(shù)莓派承認(rèn)“來(lái)自 OpenAI、Meta 和 Anthropic 的云端 LLM 的參數(shù)范圍從 5000 億到 2 萬(wàn)億”）。盡管如此，考慮到該設(shè)備的邊緣計(jì)算雄心，這些模型在硬件限制下運(yùn)行良好。

這引出了一個(gè)問(wèn)題：這個(gè)硬件是為誰(shuí)而設(shè)計(jì)的？?jī)H需計(jì)算機(jī)視覺(jué)的行業(yè)應(yīng)用可以使用之前的 26 TOPS AI HAT+。然而，對(duì)于那些需要 LLM 或其他生成性 AI 功能且必須保持本地處理的任務(wù)，AI HAT+ 2 產(chǎn)品可能值得一試。?