當(dāng)?shù)貢r(shí)間2月24日，美國人工智能（AI）芯片初創(chuàng)公司SambaNova發(fā)布了其最新一代的AI芯片SN50，定位是最高效的智能體AI芯片，號稱性能比同類芯片快5倍，并可為企業(yè)提供降低至原來1/3的總體擁有成本，為擴(kuò)展快速推理能力和將自主AI代理全面投入生產(chǎn)奠定了強(qiáng)大的基礎(chǔ)。SN50將于今年晚些時(shí)候開始向客戶發(fā)貨。

同時(shí)，SambaNova還宣布宣布已獲得來自新老投資者的超過3.5億美元的投資。以及與英特爾的合作，共同提供高性能、高性價(jià)比的AI推理解決方案。

此前，SambaNova 在 2025 年末創(chuàng)下了訂單量和收入的新紀(jì)錄，這反映出全球金融服務(wù)、電信、能源和主權(quán)部署等領(lǐng)域?qū)赏度肷a(chǎn)的 AI 系統(tǒng)的需求正在加速增長。

一、SN50發(fā)布：性能是B200的5倍

SambaNova創(chuàng)立于2017年，主要設(shè)計(jì)和構(gòu)建集成的軟硬件解決方案，旨在從數(shù)據(jù)中心到邊緣運(yùn)行AI應(yīng)用和數(shù)據(jù)密集型應(yīng)用。SambaNova的AI芯片基于可重構(gòu)數(shù)據(jù)流架構(gòu)（RDU），使應(yīng)用能夠驅(qū)動優(yōu)化的硬件配置，軟件不受固定硬件的限制。

雖然GPU在AI模型訓(xùn)練方面表現(xiàn)出色，但這是一個(gè)計(jì)算量很大的功能;AI推斷是一種數(shù)據(jù)流動和內(nèi)存優(yōu)化的挑戰(zhàn)，需要不同的架構(gòu)方法。

為了進(jìn)行人工智能推理，GPU必須對片外內(nèi)存進(jìn)行多次冗余調(diào)用。每次內(nèi)存調(diào)用都會增加進(jìn)程的延遲和能量消耗，這也是GPU需要如此多功耗的原因。

而RDU將給定AI模型的圖映射到數(shù)據(jù)在處理器中移動的最高效路徑。這種方法消除了對內(nèi)存的冗余調(diào)用，從而大幅降低了延遲和功耗。

SambaNova最新推出的第五代基于RDU架構(gòu)的AI芯片——SN50和SambaRack SN50系統(tǒng)，號稱是專門為解決“代理推理”挑戰(zhàn)而設(shè)計(jì)的，這也是其他平臺所沒有的。

據(jù)介紹，SN50 的單加速器計(jì)算能力是上一代產(chǎn)品的五倍，網(wǎng)絡(luò)帶寬是上一代產(chǎn)品的四倍。它可通過每秒數(shù)TB的互連鏈路連接多達(dá)256個(gè)加速器，從而縮短首次Token生成時(shí)間并支持更大的批處理規(guī)模。最終，企業(yè)可以部署更大、更具上下文關(guān)聯(lián)性的AI模型，并擁有更高的吞吐量和響應(yīng)速度，同時(shí)保持高性能，并將成本和延遲控制在可控范圍內(nèi)。

該芯片可以提供：

即時(shí) AI 體驗(yàn)：超低延遲為語音助手等下一代企業(yè)應(yīng)用程序提供實(shí)時(shí)響應(yīng)。

無與倫比的規(guī)模和并發(fā)性——以始終如一的高性能支持?jǐn)?shù)千個(gè)并發(fā) AI 會話；

突破性的模型容量：三層內(nèi)存架構(gòu)可支持 10T+ 參數(shù)模型和 10M+ 上下文長度，從而實(shí)現(xiàn)更深入的推理和更豐富的輸出。

規(guī)?；瘜?shí)現(xiàn)最高效率：更高的硬件利用率降低了每個(gè)令牌的成本，從而提高了性能和投資回報(bào)率；

更智能的內(nèi)存，更智能的效率：駐留多模型內(nèi)存和代理緩存優(yōu)化了三層架構(gòu)，降低了企業(yè)級 AI 部署的基礎(chǔ)設(shè)施成本。

什么是代理推理？

SambaNova以最近席卷開發(fā)界的開源的人工智能代理OpenClaw為例解釋道，這個(gè)開源的人工智能代理能夠?qū)栴}拆解成子任務(wù)，并通過自然語言直接連接我們的應(yīng)用和工具來完成這些子任務(wù)。

但是即使在今天，當(dāng)用戶使用 ChatGPT 或任何大型語言模型（LLM）界面時(shí)，OpenClaw 也會創(chuàng)建簡化版的代理循環(huán)來解決用戶的請求。問題在于它需要對LLM進(jìn)行一系列單獨(dú)調(diào)用。對于許多用例，比如編碼，這會帶來典型GPU配置不可接受的延遲，損害開發(fā)者的體驗(yàn)。

延遲在GPU上只能略微改善。Anthropic最近為Opus 4.6引入了快速模式，速度提升了2.5倍，但這帶來了6倍的嚴(yán)重代價(jià)。

此外，這種“快速模式”勉強(qiáng)滿足代理推理和這些AI代理提供近實(shí)時(shí)答案的最低速度要求。如今所有其他硬件解決方案面臨的挑戰(zhàn)在于，實(shí)現(xiàn)這種速度對推理服務(wù)提供商來說成本過高或難以擴(kuò)展。

對代理來說合理的代幣經(jīng)濟(jì)學(xué)

在此背景之下，SN50芯片應(yīng)運(yùn)而生。SambaNova稱，SN50 RDU為AI推理工作負(fù)載提供了無與倫比的超低延遲、高吞吐量和高效功耗性能，從根本上重塑了Token(令牌)生成的經(jīng)濟(jì)性。

與Blackwell B200 GPU相比，SN50在代理推理方面實(shí)現(xiàn)了5倍的最高速度和超過3倍的吞吐量，這一點(diǎn)在多種型號中得到了顯著體現(xiàn)，比如Meta的Llama 3.3 70B，這款開源型號即使在發(fā)布多年后仍被廣泛使用。

這一令人印象深刻的性能是在SambaRack SN50系統(tǒng)平均僅20千瓦功率下實(shí)現(xiàn)的，使機(jī)架能夠在現(xiàn)有的風(fēng)冷數(shù)據(jù)中心中運(yùn)行。這種性能、效率和可擴(kuò)展性的結(jié)合轉(zhuǎn)化為總擁有成本（TCO）優(yōu)勢，這在市場上對于運(yùn)行g(shù)pt-oss等模型的推理服務(wù)提供商來說，節(jié)省成本是B200 GPU的8倍。

“全新的 SambaNova SN50 RDU 改變了大規(guī)模 AI 推理的代幣經(jīng)濟(jì)模型。SambaNova 的這款芯片采用現(xiàn)有電源和風(fēng)冷方式，同時(shí)實(shí)現(xiàn)了高性能和高吞吐量，正在改變游戲規(guī)則，”分析公司 IDC 高性能計(jì)算研究副總裁 Peter Rutten 表示。

Cambium Capital聯(lián)合創(chuàng)始人兼管理合伙人Landon Downs表示：“人工智能正在從軟件領(lǐng)域轉(zhuǎn)向基礎(chǔ)設(shè)施領(lǐng)域。SN50的設(shè)計(jì)旨在滿足現(xiàn)實(shí)世界的延遲和經(jīng)濟(jì)性要求，這些要求將決定誰能成功地大規(guī)模部署智能體人工智能?！?/p>

代理緩存

與SN40L RDU類似，SN50 RDU采用分層內(nèi)存架構(gòu)，結(jié)合了大容量內(nèi)存、高帶寬內(nèi)存（HBM）和超高速SRAM。這種層級結(jié)構(gòu)使芯片能夠承載最大的模型，同時(shí)并行運(yùn)行多個(gè)模型。

存在于HBM和SRAM中的模型可以在毫秒內(nèi)進(jìn)行熱插拔，這對于頻繁切換多個(gè)模型的代理工作負(fù)載來說至關(guān)重要。

此外，通過我們的SN50，輸入Token可以緩存到內(nèi)存中，減少預(yù)填充處理時(shí)間和請求的首次Token時(shí)間（TTFT）。結(jié)合起來，SambaNova的內(nèi)存架構(gòu)成為代理的理想緩存，能夠更高效地處理任務(wù)。

下一代規(guī)模化

SambaRack SN50 結(jié)合了 16 顆 SN50 芯片，使每臺加速器提供五倍的計(jì)算能力和四倍的網(wǎng)絡(luò)帶寬。

互聯(lián)的SambaRacks可通過多TB每秒互連擴(kuò)展最多256個(gè)加速器，這減少了TTFT并支持更大的批次規(guī)模。因此，可以部署吞吐量更高、響應(yīng)更快的模型。

SN50能夠支持當(dāng)今和未來的最大模型，能夠運(yùn)行多達(dá)10萬億個(gè)參數(shù)的單個(gè)模型，其規(guī)模和上下文長度高達(dá)1000萬個(gè)Token。

軟銀在日本的人工智能數(shù)據(jù)中心部署了SN50

軟銀集團(tuán)將成為首家在日本下一代人工智能數(shù)據(jù)中心部署SN50的客戶。此次部署將為亞太地區(qū)的主權(quán)國家和企業(yè)客戶提供低延遲推理服務(wù)，支持對延遲和吞吐量要求極高的開源和專有前沿模型。

軟銀集團(tuán)副總裁兼技術(shù)部數(shù)據(jù)平臺戰(zhàn)略部負(fù)責(zé)人丹波博信表示：“借助SN50，我們正在為日本構(gòu)建一個(gè)人工智能推理平臺，能夠以客戶和合作伙伴期望的速度、彈性和自主性為他們提供服務(wù)。通過采用SN50作為標(biāo)準(zhǔn)，我們能夠按照自己的方式提供世界一流的人工智能服務(wù)——擁有最佳GPU集群的性能，但經(jīng)濟(jì)效益和控制力卻遠(yuǎn)勝于它們?！?/p>

SambaNova表示，SN50 的部署深化了 SambaNova 與軟銀集團(tuán)的現(xiàn)有合作關(guān)系。軟銀集團(tuán)已在該地區(qū)部署了 SambaCloud，為開發(fā)者提供超高速推理服務(wù)。通過將其最新集群部署在 SN50 上，軟銀將 SambaNova 定位為其自主人工智能計(jì)劃和未來大規(guī)模智能體服務(wù)的推理骨干。

二、SambaNova和英特爾計(jì)劃開展多年合作

SambaNova 和英特爾已達(dá)成一項(xiàng)多年戰(zhàn)略合作計(jì)劃，旨在為全球人工智能原生企業(yè)、模型提供商、大型企業(yè)和政府機(jī)構(gòu)提供高性能、高性價(jià)比的人工智能推理解決方案。此次合作將為客戶提供一種強(qiáng)大的替代方案，以取代以 GPU 為中心的解決方案，為領(lǐng)先的開源模型提供優(yōu)化的性能，并實(shí)現(xiàn)可預(yù)測的吞吐量和總體擁有成本。

作為合作的一部分，英特爾計(jì)劃對 SambaNova 進(jìn)行戰(zhàn)略投資，以加速推出基于英特爾技術(shù)的 AI 云平臺。此次合作預(yù)計(jì)將涵蓋三個(gè)關(guān)鍵領(lǐng)域：

AI云擴(kuò)展——SambaNova正在擴(kuò)展其垂直整合的AI云平臺，該平臺基于英特爾至強(qiáng)處理器構(gòu)建，并針對大型語言和多模態(tài)模型進(jìn)行了優(yōu)化。該平臺將提供低延遲、高吞吐量的AI服務(wù)，并由參考架構(gòu)、部署藍(lán)圖以及與系統(tǒng)集成商和軟件供應(yīng)商的合作關(guān)系提供支持。

集成人工智能基礎(chǔ)設(shè)施——將 SambaNova 的系統(tǒng)與英特爾的 CPU、加速器和網(wǎng)絡(luò)技術(shù)相結(jié)合，為推理、代碼生成、多模態(tài)應(yīng)用程序和代理工作流提供可擴(kuò)展的、可用于生產(chǎn)的推理能力。

市場推廣執(zhí)行——通過英特爾的全球企業(yè)、云和合作伙伴渠道進(jìn)行聯(lián)合銷售和聯(lián)合營銷，以加速人工智能生態(tài)系統(tǒng)的普及。

SambaNova 和英特爾攜手合作，旨在打造下一代異構(gòu) AI 數(shù)據(jù)中心——整合英特爾至強(qiáng)處理器、英特爾 GPU、英特爾網(wǎng)絡(luò)和存儲以及 SambaNova 系統(tǒng)——以釋放數(shù)十億美元的推理市場機(jī)遇。

SambaNova聯(lián)合創(chuàng)始人兼首席執(zhí)行官Rodrigo Liang表示：“人工智能不再是構(gòu)建最大模型的競賽。憑借SN50以及我們與英特爾的深度合作，真正的競爭在于誰能用即時(shí)響應(yīng)、永不卡頓的AI代理點(diǎn)亮整個(gè)數(shù)據(jù)中心，并且成本能夠?qū)⑷斯ぶ悄軓囊豁?xiàng)實(shí)驗(yàn)變成云端最賺錢的引擎。”

英特爾數(shù)據(jù)中心事業(yè)部執(zhí)行副總裁兼總經(jīng)理凱沃爾克·凱奇奇安表示：“客戶希望獲得更多選擇，并找到更高效的AI擴(kuò)展方式。通過將英特爾在計(jì)算、網(wǎng)絡(luò)和內(nèi)存領(lǐng)域的領(lǐng)先地位與SambaNova的全棧AI系統(tǒng)和推理云平臺相結(jié)合，我們?yōu)閷で驡PU替代方案以大規(guī)模部署高級AI的企業(yè)提供了一個(gè)極具吸引力的選擇?！?/p>

三、Vista和Cambium領(lǐng)投，SambaNova獲得3.5億美元融資

SambaNova表示，本輪 E 輪融資超額認(rèn)購，由 Vista Equity Partners 和 Cambium Capital 領(lǐng)投，Intel Capital（英特爾資本）也積極參與。

本輪新投資者包括：Assam Ventures、Battery Ventures、Gulf Development Public Company Limited、Mayfield Capital、Saudi First Data、Seligman Ventures 以及 T. Rowe Price Associates, Inc. 提供咨詢服務(wù)的賬戶。參與本輪融資的現(xiàn)有投資者包括：A&E、8Square、Atlantic Bridge、BlackRock、GV、Nepenthe、Nuri Capital 和 Redline Capital。

“隨著智能體工作負(fù)載的擴(kuò)展，企業(yè)發(fā)現(xiàn)，針對訓(xùn)練優(yōu)化的基礎(chǔ)設(shè)施難以滿足生產(chǎn)環(huán)境的延遲和成本要求，我們很榮幸能在 SambaNova 發(fā)展的關(guān)鍵時(shí)期對其進(jìn)行投資，”Vista Capital 合伙人 Monti Saroya 表示?！癝N50 專為智能體 AI 系統(tǒng)而設(shè)計(jì)，能夠協(xié)調(diào)多個(gè)模型并近乎實(shí)時(shí)地處理請求，其效率遠(yuǎn)高于傳統(tǒng)的以 GPU 為中心的系統(tǒng)?！?/p>

據(jù)了解，SambaNova該輪融資所得款項(xiàng)將用于擴(kuò)大 SN50 的生產(chǎn)規(guī)模、擴(kuò)展 SambaCloud 以及深化企業(yè)軟件集成。

編輯：芯智訊-浪客劍