芯東西（公眾號：aichip001）
作者 ZeR0
編輯 漠影

芯東西10月28日報(bào)道，昨夜，高通發(fā)布面向數(shù)據(jù)中心的下一代AI推理優(yōu)化解決方案，包括基于云端AI芯片Qualcomm AI200和AI250的加速卡及機(jī)架。

兩款芯片均采用高通Hexagon NPU，預(yù)計(jì)將分別于2026年和2027年實(shí)現(xiàn)商用。

高通稱，憑借該公司在NPU技術(shù)方面的優(yōu)勢，這些解決方案可提供機(jī)架級性能和出色的內(nèi)存容量，以高性價(jià)比實(shí)現(xiàn)快速的生成式AI推理，有助于實(shí)現(xiàn)可擴(kuò)展、高效且靈活的生成式AI。

沙特支持的AI創(chuàng)企Humain將從2026年開始部署200兆瓦的高通新型AI機(jī)架。

受此消息影響，高通股價(jià)飆升11%。

Qualcomm AI200推出一款專用機(jī)架級AI推理解決方案，旨在為大語言模型和多模態(tài)模型（LLM、LMM）推理及其他AI工作負(fù)載提供更高的內(nèi)存容量、更低的總擁有成本（TCO）和優(yōu)化的性能，支持每卡768GB LPDDR。

Qualcomm AI250解決方案將首次采用基于近存計(jì)算的創(chuàng)新內(nèi)存架構(gòu)，通過提供超過10倍的有效內(nèi)存帶寬和更低的功耗，不僅支持分解式AI推理，還能高效利用硬件資源，同時(shí)滿足客戶對性能和成本的要求。

兩種機(jī)架解決方案均采用直接液冷以提高熱效率，采用PCIe進(jìn)行縱向擴(kuò)展，采用以太網(wǎng)進(jìn)行橫向擴(kuò)展，采用機(jī)密計(jì)算以確保安全的AI工作負(fù)載，機(jī)架級功耗為160kW。

這些解決方案都具有豐富的軟件棧和與AI框架的無縫兼容性，使企業(yè)和開發(fā)人員能夠跨數(shù)據(jù)中心部署安全、可擴(kuò)展的生成式AI。

其AI軟件棧端到端覆蓋從應(yīng)用層到系統(tǒng)軟件層，并針對AI推理進(jìn)行了優(yōu)化。開發(fā)者可通過高通的Efficient Transformers Library和高通AI推理套件，獲得無縫模型導(dǎo)入和Hugging Face模型的一鍵部署。

高通高級副總裁兼技術(shù)規(guī)劃、邊緣解決方案和數(shù)據(jù)中心總經(jīng)理Durga Malladi稱，憑借Qualcomm AI200和AI250，高通正在重新定義機(jī)架級AI推理的可能性。

Malladi還透露，高通將單獨(dú)出售其AI芯片和其他部件，尤其是針對那些喜歡自行設(shè)計(jì)機(jī)架的超大規(guī)模數(shù)據(jù)中心客戶。其他AI芯片公司也可能成為高通部分?jǐn)?shù)據(jù)中心部件（如CPU）的客戶。

高通數(shù)據(jù)中心路線圖每年更新一次，聚焦實(shí)現(xiàn)業(yè)界領(lǐng)先的AI推理性能、能效和業(yè)界領(lǐng)先的TCO。

近年來，高通努力擺脫對智能手機(jī)市場的依賴，將業(yè)務(wù)拓展至PC和汽車市場，如今又向廣闊的數(shù)據(jù)中心市場發(fā)起進(jìn)攻。