最近，APPSO 終于拿到了這臺(tái)來(lái)自黃仁勛傾情推薦的個(gè)人超算，英偉達(dá) DGX Spark；到手的第一感覺(jué)，就是「小而美」。

這電腦也太小了，沒(méi)有 Mac Studio 那般笨重，可能就和 Mac Mini 差不多大；然后是銀色的亮和用來(lái)散熱的金屬絲網(wǎng)又讓它有點(diǎn)不一樣，是專(zhuān)屬的硬核美感。

，提到過(guò)一些關(guān)于這臺(tái)電腦的參數(shù)，像是重量 1.2kg，尺寸大小 5.05*15*15cm。

重量：Mac Studio M4 Max 2.74kg；Mac Mini M4 0.67kg

尺寸：Mac Studio：9.5*19.7*19.7；Mac Mini：5.0*12.7*12.7

以及它的算力情況，128GB 的 GPU+CPU 融合內(nèi)存，效果媲美 RTX 5070/5070 Ti 的GB10 Grace Blackwell 超算芯片，和273 GB/s 的 LPDDR 5X 內(nèi)存帶寬標(biāo)準(zhǔn)。

說(shuō)實(shí)話，本地跑，這大概是我能想到這臺(tái) 128G 內(nèi)存，GB10 顯卡算力的機(jī)器，能做的唯一事情。

所有可能涉及到隱私的內(nèi)容，無(wú)論是一份 PDF 文檔，還是圖片，這些文字和圖片，甚至視頻，我都可以放心地丟給這臺(tái)電腦。把 Wi-Fi 關(guān)掉，打開(kāi)部署好的項(xiàng)目，加載已下載的開(kāi)源模型，一切它都可以在本地處理。

但本地處理意義大嗎，ChatGPT 有段時(shí)間都快成我的日記本了，我什么都會(huì)跟它說(shuō)。聯(lián)不聯(lián)網(wǎng)，對(duì)普通的個(gè)人消費(fèi)者來(lái)說(shuō)，好像真算不上特別有意思的賣(mài)點(diǎn)。

真正上手之后，發(fā)現(xiàn)三萬(wàn)塊的價(jià)格好像也還行，Linux 的 Ubuntu 操作系統(tǒng)也不算太難用，一直被詬病的帶寬速度，在看著它生成的回答，一個(gè)一個(gè)字吐出的時(shí)候，能感受到，是有影響。但超強(qiáng)的算力和充足的內(nèi)存，真的能蓋過(guò)這些等待的時(shí)間嗎？

目前，這臺(tái)電腦在京東等電商平臺(tái)上也能檢索到，我們可以花 32000 元左右的價(jià)格，把你的個(gè)人超算帶回家。

但是，值不值得帶回家，帶回家可以做點(diǎn)什么，跟著我們這幾天的使用體驗(yàn)一起來(lái)看看，一臺(tái)未來(lái)的 AI 電腦，究竟該是什么樣。

太長(zhǎng)不看版：

這是一臺(tái)差不多 Mac Mini 大小，但擁有 128GB 統(tǒng)一內(nèi)存、搭載英偉達(dá) GB10 芯片的 Linux 桌面主機(jī)。

它能本地運(yùn)行最高 2000 億參數(shù)的模型，對(duì)大模型進(jìn)行微調(diào)、推理測(cè)試，搭建各種 AI 工具，沒(méi)網(wǎng)也能生圖，AI 性能強(qiáng)勁。

雖然不是一臺(tái)通用電腦，但完整的全棧 AI 開(kāi)發(fā)環(huán)境，讓它更適合 AI 相關(guān)的研究員、開(kāi)發(fā)者、和極客玩家，快速?gòu)?fù)現(xiàn)各種前沿論文、驗(yàn)證想法。而與深度學(xué)習(xí)無(wú)關(guān)的 AI 項(xiàng)目，像剪視頻、打游戲，是不太推薦。

生圖自由、生視頻自由，萬(wàn)物皆可部署

最高支持 2000 億參數(shù)，這意味著開(kāi)源市場(chǎng)上的很多模型，現(xiàn)在都可以直接放到這臺(tái)電腦上運(yùn)行。

能夠部署本地大模型的平臺(tái)很多，有比較常見(jiàn)的有開(kāi)源的 Open WebUI，還有閉源免費(fèi)的 LM Studio。我們采用了 Open WebUI，它支持 Ollama 等專(zhuān)為在本地計(jì)算機(jī)上，高效運(yùn)行大型語(yǔ)言模型的開(kāi)源框架。

在 Ollama 官網(wǎng)，提供了豐富的開(kāi)源模型下載｜https://ollama.com/models

我們首先部署了 OpenAI 的 gpt-oss 20b 來(lái)看看效果如何，這個(gè)速度我只能說(shuō)中規(guī)中矩，算是能用的狀態(tài)。

設(shè)備同時(shí)在處理視頻生成任務(wù)

接著下載 65G 的 gpt-oss 120b 模型，很明顯能感受到 DGX 的壓力了，無(wú)論是思考的時(shí)間，首詞元的生成時(shí)間，以及詞元的處理速度都慢慢降下來(lái)了，比我們的閱讀速度要慢上不少。

老黃說(shuō)支持 2000 億，于是我們嘗試用 142GB 的 Qwen 3:235b，2350 億參數(shù)的模型，結(jié)果就是，用不了幾秒，整個(gè)進(jìn)程就被強(qiáng)制結(jié)束了。

我們繼續(xù)測(cè)試生圖、生視頻、還有生 3D 模型，Comfy 是開(kāi)源生圖平臺(tái)里面最好用的，直接使用里面的模板工作流，只需要下載好模型文件，并放在對(duì)應(yīng)的文件夾，例如有負(fù)責(zé) LoRA、文字編碼解碼、以及 Diffusion 擴(kuò)散模型等。

下載對(duì)應(yīng)的擴(kuò)散模型和音頻、LoRA 模型等到本地，就能離線生成 AI 視頻

鑒于現(xiàn)在在閉源的 Google Veo 3.1 做視頻生成都需要抽卡，開(kāi)源模型的表現(xiàn)就更需要好的提示詞控制。在最終的效果之外，視頻生成的速度還是一個(gè)大問(wèn)題。

而即便是 128GB 的內(nèi)存，當(dāng)被要求生成一個(gè) 10s，240 幀的視頻時(shí)，使用騰訊混元 1.5 視頻生成模型，硬是把這臺(tái)電腦的內(nèi)存全部榨干了，GPU 利用率到了 96%，內(nèi)存使用也到了接近 90 GB。

我算是能明白為什么奧特曼要暫時(shí)停掉 Sora 2 的工作，全力研發(fā)模型，這視頻生成太費(fèi)算力了。

生圖方面的選擇就更多一點(diǎn)，有 Qwen、FLUX、還有 Z-Image 這些，表現(xiàn)都算不錯(cuò)，而且生成速度也不算太慢。

提示詞：動(dòng)漫風(fēng)格，杰作，吉卜力工作室風(fēng)格。一臺(tái)巨大的銹跡斑斑的戰(zhàn)斗機(jī)甲半埋在郁郁蔥蔥的綠色草地中，機(jī)甲上覆蓋著鮮艷的野花和厚厚的苔蘚，大自然正在重新接管科技。電影般的廣角鏡頭，明亮藍(lán)天中的巨大積雨云，柔和陽(yáng)光穿透其中，有鏡頭光暈效果，田園詩(shī)般寧?kù)o祥和的氛圍，高細(xì)節(jié)。

英偉達(dá)官方專(zhuān)門(mén)為上手 DGX Spark 提供了一份詳細(xì)的 Playbook，里面有全面的各種部署方式，無(wú)論是連接到另一臺(tái) Mac，還是使用兩臺(tái) DGX Spark 一起來(lái)運(yùn)行項(xiàng)目。

之前在評(píng)測(cè)分享中，我們提到的知識(shí)圖譜、視頻總結(jié)等，都在這份玩法大全里。我們也部署了一個(gè)自己的知識(shí)圖譜，可以持續(xù)上傳新的知識(shí)進(jìn)去，采用的大語(yǔ)言模型，會(huì)自動(dòng)根據(jù)新增加的內(nèi)容，對(duì)知識(shí)圖譜進(jìn)行更新。

知識(shí)圖譜看起來(lái)還是有點(diǎn)酷，還能 3D 顯示｜更多玩法詳見(jiàn) Playbook：

https://build.nvidia.com/spark

微調(diào)是什么，能調(diào)出一個(gè) DeepSeek R2 嗎？

部署這些已有的大模型到本地，可能還是差點(diǎn)意思，有超算在手里，我是不是也能訓(xùn)練一個(gè) DeepSeek R2 出來(lái)。

真不能，先不說(shuō)我們用的大模型訓(xùn)練，需要超級(jí)龐大的訓(xùn)練集和算法設(shè)計(jì)；再者是這些預(yù)訓(xùn)練所花費(fèi)的算力資源，不是一臺(tái)桌面超算就能解決的。

那微調(diào)呢，大家都在說(shuō)對(duì)這些已經(jīng)預(yù)訓(xùn)練的大模型進(jìn)行微調(diào)，是不是能提升模型的性能表現(xiàn)。

微調(diào)｜圖片來(lái)源：動(dòng)手學(xué)深度學(xué)習(xí)

微調(diào)指的是通過(guò)調(diào)整通用大模型的參數(shù)，使用監(jiān)督學(xué)習(xí)或者強(qiáng)化學(xué)習(xí)的方法，在特定的數(shù)據(jù)集上進(jìn)行訓(xùn)練，優(yōu)化大模型在這些特定任務(wù)上的表現(xiàn)。

我們使用開(kāi)源框架 LLaMa Factory 微調(diào)了 Llama 3，這個(gè)開(kāi)源到一半，然后就被腰斬的模型，看看能不能微調(diào)它會(huì)有什么效果。

同樣地，按照英偉達(dá)官方的指引和公開(kāi)的微調(diào)配置，即 LoRA（Low-Rank Adaptation) 。如果有部署過(guò) Stable Dif fusion 的經(jīng)驗(yàn)，LoRA 應(yīng)該并不陌生，它是一種高效微調(diào)的技術(shù)，不用微調(diào)整個(gè)大語(yǔ)言模型的參數(shù)，只訓(xùn)練極小一部分新增的參數(shù)。

LLaMa Factory 開(kāi)源工具提供了 DeepSeek、Qwen 等模型的監(jiān)督微調(diào) LoRA 配置文件

在這里 LLaMa Factory 提供的 Llama 3 微調(diào)配置文件中，這里采用的微調(diào)數(shù)據(jù)集是 dataset:identity,alpaca_en_demo，其中 identity 這個(gè)數(shù)據(jù)集，通常是用于修改模型的自我認(rèn)知。

例如，當(dāng)我們問(wèn)他「你是誰(shuí)」，原版 Llama-3 會(huì)說(shuō)「我是 Meta 開(kāi)發(fā)的 Llama」。通過(guò)這個(gè)數(shù)據(jù)集，你可以把它改成「我是 APPSO 開(kāi)發(fā)的助手」，并且對(duì)語(yǔ)氣之類(lèi)的進(jìn)行修改。alpaca_en_demo 則是一個(gè)通用的指令微調(diào)數(shù)據(jù)集。

模型微調(diào)的訓(xùn)練批次大小 batch-size 僅設(shè)置為 1，所以統(tǒng)一內(nèi)存還很富余

整個(gè)微調(diào)的過(guò)程還是很迅速的，80 億參數(shù)的大模型，但是 lora_rank，秩只設(shè)置為 8，在微調(diào)里面算是比較小的修改，常見(jiàn)通常是 16, 32, 64；所以花了一個(gè)小時(shí)左右的時(shí)間，就微調(diào)好了。

上下滑動(dòng)查看更多內(nèi)容， 更多的模型微調(diào)指南｜https://github.com/datawhalechina/self-llm

微調(diào)好的模型可以進(jìn)一步打包、導(dǎo)出，應(yīng)用到可視化的軟件中。

什么人適合用 DGX Spark

DGX Spark 特別好的一點(diǎn)是，它提供了豐富的全棧軟件工具，涵蓋了 NVIDIA 工具、框架、庫(kù)和預(yù)訓(xùn)練模型等，全套的 AI 工作負(fù)載解決方案。

舉個(gè)例子，如果我們只有一塊 5090，希望用它來(lái)部署一個(gè)生圖模型，我們要自己解決安裝 PyTorch、CUDA、cuDNN 這些光是聽(tīng)起來(lái)就有夠頭大的內(nèi)容。

而且他們還有復(fù)雜的版本依賴(lài)關(guān)系，例如 xx 版本的 PyTorch 只能支持某個(gè)版本的 CUDA（英偉達(dá)開(kāi)發(fā)的計(jì)算架構(gòu)），而 CUDA 又有對(duì)應(yīng)的 cuDNN 版本，更不用說(shuō)里面還有各種工具包的相互依賴(lài)。

不過(guò)萬(wàn)事開(kāi)頭難，解決了復(fù)雜的環(huán)境配置，DGX Spark 能更快的實(shí)現(xiàn)各種項(xiàng)目；無(wú)論是部署大模型，還是對(duì)技術(shù)要求更高的模型訓(xùn)練、微調(diào)等。

但這些應(yīng)用，很明顯都需要一定的計(jì)算機(jī)學(xué)科專(zhuān)業(yè)知識(shí)。即便 AI 能幫我們解決大多數(shù)的問(wèn)題，當(dāng)問(wèn)題發(fā)生時(shí)，我們還是需要有能定位到問(wèn)題的能力。

像是如果你要在這臺(tái)電腦上安裝 Chrome，從官網(wǎng)下載安裝包，在終端中使用默認(rèn)的安裝命令，它會(huì)提示架構(gòu)不對(duì)，無(wú)法安裝。

是的，至今 Google 都沒(méi)有推出 arm64 架構(gòu)的 Linux 版 Chrome 瀏覽器，只為 amd64 打包。

就從軟件安裝這一點(diǎn)上，不是 Windows 常見(jiàn)的雙擊 exe，macOS 的拖動(dòng)到軟件文件夾，是 Linux 操作系統(tǒng)里面命令行，甚至不能用大部分電腦采用的 amd64 軟件（Intel/AMD 芯片常見(jiàn)的都是 amd64 架構(gòu)，M 系列是 arm64 架構(gòu)）。

我們的觀察，英偉達(dá) DGX Spark 的定位，仍然還是就讀計(jì)算機(jī)相關(guān)專(zhuān)業(yè)的學(xué)生、獨(dú)立開(kāi)發(fā)者、以及喜歡搗鼓且有能力的極客玩家們。

如果你是計(jì)算機(jī)系在讀的學(xué)生或者研究員，這臺(tái)電腦確實(shí)能幫你很快地，運(yùn)行各種深度學(xué)習(xí)項(xiàng)目。

在計(jì)算機(jī)視覺(jué)方向上，一些檢測(cè)、定位和識(shí)別的任務(wù)；還是自然語(yǔ)言處理中，有關(guān)語(yǔ)音、文字方面的工作，DGX Spark 都可以很好地，復(fù)現(xiàn)前人工作、和運(yùn)行自己項(xiàng)目代碼。

當(dāng)然，現(xiàn)在大部分的學(xué)校/企業(yè)也有自己的超算中心，盡管有時(shí)候可能需要排隊(duì)，在第三方的云平臺(tái)上運(yùn)行代碼也并不少見(jiàn)。

我們也從 GitHub 上找了一個(gè)項(xiàng)目，如果你復(fù)現(xiàn)過(guò)其他人的項(xiàng)目，會(huì)發(fā)現(xiàn)配置環(huán)境是最煩的，還有一個(gè)報(bào)錯(cuò)「CUDA Out Of Memory」，相信大多數(shù)的學(xué)生都碰到過(guò)。

大多數(shù)的深度學(xué)習(xí)項(xiàng)目，DGX Spark 都不會(huì)遇到內(nèi)存不夠的問(wèn)題。

今年基于 AI 的產(chǎn)品真的不少，蘋(píng)果今年的最佳應(yīng)用 CapWords 利用的就是 AI，隨手拍張照就能把身邊的東西轉(zhuǎn)成單詞卡，很有 Nano Banana Pro 生圖的感覺(jué)。

App Store 上還有日語(yǔ)學(xué)習(xí)、單詞背誦、待辦事項(xiàng)、全局翻譯等等各類(lèi)軟件，其中很多人都是獨(dú)立開(kāi)發(fā)者，對(duì)他們來(lái)說(shuō)，這樣一臺(tái)電腦又能帶來(lái)什么。

把 DGX 作為 AI 的流量服務(wù)器顯然不太現(xiàn)實(shí)，128GB 的內(nèi)存能同時(shí)處理的請(qǐng)求相當(dāng)有限，大多數(shù)獨(dú)立開(kāi)發(fā)者還是采用購(gòu)買(mǎi)的 API 來(lái)提供 AI 服務(wù)，或者設(shè)備端側(cè)服務(wù)接口。

而項(xiàng)目開(kāi)發(fā)，大廠程序員主流又是用 Macbook Pro，畢竟如果一個(gè) App 要上架 App Store，沒(méi)有 Xcode 也做不到。

拿它來(lái)開(kāi)發(fā)自己的模型，這可能會(huì)是一個(gè)比較熱門(mén)的方向。現(xiàn)在經(jīng)過(guò) API 調(diào)用的 AI，最多只能在提示詞方面來(lái)進(jìn)行個(gè)性化，例如賦予它某個(gè)角色，要求他完成某種指令。

微調(diào)之后的模型，在某種程度上，能夠得到更可控的輸出，和更安全的保障。尤其是針對(duì)一些特定的行業(yè)，例如在法律行業(yè)，有像北大法寶這樣通過(guò)繼續(xù)預(yù)訓(xùn)練，法律場(chǎng)景微調(diào)得到的中文法律大模型；還有在醫(yī)療健康領(lǐng)域，比如最近熱門(mén)的螞蟻阿?！?/p>

上下滑動(dòng)查看更多內(nèi)容， 不止微調(diào)，使用 DGX Spark 來(lái)完成推理、做數(shù)據(jù)科學(xué)方面的工作也可以

在 AI 研究員和開(kāi)發(fā)者之外，一些極客愛(ài)好者可能也會(huì)喜歡這臺(tái)設(shè)備。有段時(shí)間很流行這個(gè)梗，說(shuō)中年男人的三大愛(ài)好，充電頭、路由器和 NAS。

很多人可能會(huì)覺(jué)得，這會(huì)不會(huì)也是一個(gè) NAS 之類(lèi)的產(chǎn)品。我家的 NAS 可以當(dāng)作我的服務(wù)器，我不用把數(shù)據(jù)保存在某某網(wǎng)盤(pán)，而是放在 NAS 上，我一樣隨時(shí)能訪問(wèn)，安全不限速。

這臺(tái)個(gè)人超算我也可以放在家里，當(dāng)作我的服務(wù)器，它有 4T 的存儲(chǔ)空間，128GB 的 CPU+GPU 融合內(nèi)存，我不用訪問(wèn) ChatGPT 的網(wǎng)站，而是直接把數(shù)據(jù)傳到這臺(tái) DGX 上處理。

和 DGX Spark 連接了同一個(gè) Wi-Fi 網(wǎng)絡(luò)的設(shè)備，無(wú)論手機(jī)還是電腦，都可以直接使用 Comfy 端口號(hào) 8188，Open WebUI 端口號(hào) 8080 等，使用 DGX 的算力來(lái)完成文本/圖片/視頻生成

確實(shí)是可以這么做，但開(kāi)源模型的性能表現(xiàn)是一方面，另一方面是 DGX 的生成速度，顯然是比不上我們直接用商業(yè)模型的體驗(yàn)，綜合下來(lái)，放在家里作為算力中心，用來(lái)體驗(yàn) AI 模型看起來(lái)是比較雞肋。

個(gè)人超算這個(gè) Title 聽(tīng)起來(lái)很唬人，超算是怎么和個(gè)人能聯(lián)系起來(lái)的，老黃可能會(huì)說(shuō)，它能放在你的桌子上。

聽(tīng)?wèi)T了各種 AI 手機(jī)、AI 眼鏡、AI 手表，AI 電腦好像很難用電腦上 AI 功能來(lái)做賣(mài)點(diǎn)。

所以，從 AI 硬件的各項(xiàng)配置入手來(lái)打造 AI 電腦，不失為一種新的方式。但 DGX Spark 又顯然不是，能簡(jiǎn)單到用「電腦」兩個(gè)字來(lái)概括。「超算」才是更適合它的定位，極致的性能，超強(qiáng)的顯卡，豐富的 AI 開(kāi)發(fā)生態(tài)。

加上「?jìng)€(gè)人」，我想英偉達(dá)至少是開(kāi)始在探索，AI 時(shí)代，我們需要的一臺(tái)計(jì)算機(jī)會(huì)不會(huì)就是這樣子。

大家有什么點(diǎn)子，歡迎在評(píng)論區(qū)分享，我們來(lái)實(shí)現(xiàn)，一起榨干這臺(tái)個(gè)人超算的能力。

歡迎加入 APPSO AI 社群，一起暢聊 AI 產(chǎn)品，獲取，解鎖更多 AI 新知

我們正在招募伙伴

簡(jiǎn)歷投遞郵箱hr@ifanr.com

?? 郵件標(biāo)題「姓名+崗位名稱(chēng)」（請(qǐng)隨簡(jiǎn)歷附上項(xiàng)目/作品或相關(guān)鏈接）