基礎(chǔ)設(shè)施可能是許多組織在將AI從概念驗(yàn)證擴(kuò)展到生產(chǎn)環(huán)境時(shí)遭遇失敗的根本原因。微軟最新的AI基礎(chǔ)設(shè)施狀況報(bào)告顯示，幾乎每家公司都提到了在擴(kuò)展和運(yùn)營(yíng)AI方面的挑戰(zhàn)，超過(guò)半數(shù)來(lái)自各行業(yè)和地區(qū)的1500多位商業(yè)領(lǐng)袖表示，他們沒(méi)有合適的基礎(chǔ)設(shè)施來(lái)支持想要運(yùn)行的AI工作負(fù)載——這一比例在其他調(diào)查中也得到了印證。

當(dāng)你開(kāi)始構(gòu)建、部署和運(yùn)營(yíng)AI模型時(shí)，才會(huì)發(fā)現(xiàn)你的基礎(chǔ)設(shè)施到底有多現(xiàn)代化，以及它在哪些方面讓你失望。數(shù)字基礎(chǔ)設(shè)施公司Colt Technology Services的首席AI和平臺(tái)官Frank Miller表示："在傳統(tǒng)架構(gòu)上運(yùn)行AI就像通過(guò)撥號(hào)網(wǎng)絡(luò)傳輸4K視頻一樣，你可以說(shuō)服自己這會(huì)奏效，但現(xiàn)實(shí)卻大不相同。"

如果你不想被困在不斷救火的狀態(tài)中，只為了維持你花費(fèi)巨資的AI系統(tǒng)正常運(yùn)行，你需要同時(shí)具備治理能力和現(xiàn)代化架構(gòu)。Miller補(bǔ)充說(shuō)："這意味著用混合的、云原生設(shè)計(jì)來(lái)替換僵化的傳統(tǒng)系統(tǒng)，以便為AI工作負(fù)載提供擴(kuò)展能力。高帶寬、低延遲的連接確?？焖贁?shù)據(jù)訪問(wèn)；冗余和自動(dòng)故障轉(zhuǎn)移提供連續(xù)性；零信任安全和加密保護(hù)敏感的AI流程。添加可觀測(cè)性和預(yù)測(cè)性監(jiān)控有助于在問(wèn)題干擾操作之前預(yù)先發(fā)現(xiàn)問(wèn)題，創(chuàng)建一個(gè)彈性、安全且為AI創(chuàng)新做好準(zhǔn)備的基礎(chǔ)設(shè)施。"

IDC集團(tuán)副總裁Daniel Saroff建議將此視為技術(shù)債務(wù)，因?yàn)榇蠖鄶?shù)企業(yè)都低估了AI對(duì)連接性和計(jì)算能力的壓力。孤立的基礎(chǔ)設(shè)施無(wú)法提供AI所需的支持，CIO需要以更加整合的方式思考這些及其他問(wèn)題，以使AI取得成功。他說(shuō)："你必須考慮你的GPU基礎(chǔ)設(shè)施、帶寬、網(wǎng)絡(luò)可用性以及各個(gè)應(yīng)用程序之間的連接。如果你的環(huán)境沒(méi)有為高事務(wù)性、GPU密集型環(huán)境而設(shè)置，你就會(huì)遇到問(wèn)題。擁有非常分散的基礎(chǔ)設(shè)施意味著你需要提取數(shù)據(jù)并整合多個(gè)不同的系統(tǒng)，特別是當(dāng)你開(kāi)始考慮智能體AI時(shí)。"

訓(xùn)練、RAG和智能體工作流假設(shè)數(shù)據(jù)不僅正確，而且始終可達(dá)，且不會(huì)被瓶頸阻塞。像MCP這樣的常見(jiàn)API技術(shù)正在成為標(biāo)準(zhǔn)化數(shù)據(jù)訪問(wèn)的方式，傳統(tǒng)系統(tǒng)可能無(wú)法輕松支持這一點(diǎn)。

擅長(zhǎng)GPU運(yùn)用

彈性對(duì)企業(yè)IT來(lái)說(shuō)并不是什么新概念。高可用性、故障轉(zhuǎn)移和災(zāi)難恢復(fù)是如此普遍的需求，以至于微軟添加到Azure Copilot的前六個(gè)智能體中就有一個(gè)專門(mén)用于改善云端的彈性。在本地，企業(yè)擁有數(shù)十年的基礎(chǔ)設(shè)施經(jīng)驗(yàn)可供借鑒，但這很少包括昂貴的GPU和其他加速器，而這些正是AI的關(guān)鍵，無(wú)論你是在訓(xùn)練還是運(yùn)行推理。

它們的要求也更高，無(wú)論是需要使用正確的驅(qū)動(dòng)程序和操作器自動(dòng)配置GPU Kubernetes集群的額外復(fù)雜性，還是構(gòu)建更難維護(hù)的專用AI基礎(chǔ)設(shè)施，以及需要高速網(wǎng)絡(luò)處理具有陌生且快速變化模式的分布式流量。

VAST Data國(guó)際系統(tǒng)工程副總裁Jason Hammons說(shuō)："構(gòu)建GPU基礎(chǔ)設(shè)施真的很困難。由于其大規(guī)模并行特性，它很脆弱，但也因?yàn)槠浣M件性。它們只是要復(fù)雜得多。"

AI需要具有低延遲和關(guān)鍵可預(yù)測(cè)延遲的高帶寬網(wǎng)絡(luò)，以傳輸大量數(shù)據(jù)負(fù)載和小量推理及API調(diào)用負(fù)載。這可能意味著你的企業(yè)網(wǎng)絡(luò)至少有一部分看起來(lái)更像云數(shù)據(jù)中心中的網(wǎng)絡(luò)，可能配備SmartNIC、InfiniBand或RoCE，以及像SONiC這樣的可編程網(wǎng)絡(luò)操作系統(tǒng)，還有到AI數(shù)據(jù)中心和云API的直接路由的穩(wěn)定鏈路。

Hammons表示，如果企業(yè)在GPU集群內(nèi)部擁有高速網(wǎng)絡(luò)，就能提供良好的AI體驗(yàn)，但構(gòu)建智能體在存儲(chǔ)和網(wǎng)絡(luò)方面的要求更高。他說(shuō)："當(dāng)你開(kāi)始擴(kuò)展智能體工作負(fù)載時(shí)，由于它們表現(xiàn)出的復(fù)雜I/O模式，維持這些系統(tǒng)運(yùn)行的復(fù)雜性可能會(huì)加劇。"

智能路由和底層優(yōu)化在AI中更為重要，負(fù)載均衡變得比以往任何時(shí)候都更加重要，需要智能的自適應(yīng)路由和動(dòng)態(tài)的多路徑I/O，這樣一個(gè)擁塞或不健康的路徑就不會(huì)中斷AI管道。你必須給關(guān)鍵AI流量足夠高的優(yōu)先級(jí)，以支持你的工作負(fù)載，同時(shí)不妨礙ERP和支付服務(wù)等關(guān)鍵生產(chǎn)系統(tǒng)，或VoIP和視頻會(huì)議。

軟件開(kāi)發(fā)商Fastly的CTO Artur Bergman表示："AI工作流更依賴于網(wǎng)絡(luò)。你必須跨機(jī)器擴(kuò)展，這與那些沒(méi)有這種網(wǎng)絡(luò)或延遲要求級(jí)別的企業(yè)工作負(fù)載相比是一個(gè)相當(dāng)大的轉(zhuǎn)變。"

現(xiàn)在不再只是要避免關(guān)鍵故障或從中快速恢復(fù)。你還必須為優(yōu)雅降級(jí)設(shè)計(jì)系統(tǒng)，這樣當(dāng)出現(xiàn)故障時(shí)，它們?nèi)阅鼙憩F(xiàn)得足夠好。

同樣，彈性AI需要的不僅僅是你習(xí)慣用于任何生產(chǎn)工作負(fù)載的同步復(fù)制。Hammons說(shuō)："許多這些系統(tǒng)需要跨站點(diǎn)進(jìn)行負(fù)載均衡，并在多個(gè)域之間具有冗余性。"這種復(fù)雜性甚至讓成熟的組織轉(zhuǎn)向CoreWeave等提供商以及他稱之為AI原生新云。

API采用混合方法幾乎是普遍的。無(wú)論你是突發(fā)到AI數(shù)據(jù)中心、在超大規(guī)模GPU基礎(chǔ)設(shè)施和云數(shù)據(jù)庫(kù)上構(gòu)建，還是調(diào)用云API，你都需要考慮這些連接。這意味著更新傳統(tǒng)網(wǎng)絡(luò)并考慮多個(gè)連接提供商以實(shí)現(xiàn)冗余。

如果你在邊緣進(jìn)行AI，特別是在工廠和零售等近實(shí)時(shí)環(huán)境中，你還必須考慮分布式可靠性，以及在各站點(diǎn)間提供推理或更新本地模型以保持一致性所需的連接性和延遲。

Bergman說(shuō)："跨云通信只會(huì)增長(zhǎng)。"Fastly的客戶已經(jīng)在那里保存訓(xùn)練集數(shù)據(jù)，這樣他們就可以在多個(gè)云中使用它。"我們可以將其輸入到所有云中，而不產(chǎn)生云出口費(fèi)用。"

他建議，當(dāng)智能體代表員工行事時(shí)，對(duì)智能體訪問(wèn)權(quán)限和特權(quán)進(jìn)行身份驗(yàn)證可能在未來(lái)增加復(fù)雜性。這不需要低級(jí)網(wǎng)絡(luò)更改，但在應(yīng)用層，他預(yù)測(cè)需要發(fā)生大量演進(jìn)，以便這些事物能夠以安全、可靠的方式擴(kuò)展。

扁平化你的架構(gòu)

云服務(wù)提供商Leaseweb的CEO Richard Copeland表示，如今大多數(shù)AI采用都發(fā)生在從未為這種波動(dòng)性級(jí)別設(shè)計(jì)的架構(gòu)上。他補(bǔ)充說(shuō)："每個(gè)人都想要AI的魔力，但當(dāng)他們擴(kuò)展時(shí)，他們就會(huì)面對(duì)數(shù)據(jù)重力、延遲預(yù)算和存儲(chǔ)經(jīng)濟(jì)學(xué)的混亂現(xiàn)實(shí)。團(tuán)隊(duì)試圖保護(hù)端點(diǎn)、擴(kuò)展管道、添加GPU并增加帶寬，但如果底層基礎(chǔ)不是有意設(shè)計(jì)為彈性的，這些都無(wú)法阻止運(yùn)營(yíng)混亂。"

他指出，你幾乎肯定需要更多存儲(chǔ)來(lái)支持AI，而不僅僅是訓(xùn)練集。他說(shuō)："你在存儲(chǔ)嵌入、向量索引、模型檢查點(diǎn)、智能體日志、合成數(shù)據(jù)集，而智能體本身每秒都在產(chǎn)生新數(shù)據(jù)。"因此，花時(shí)間弄清楚你實(shí)際需要存儲(chǔ)多少數(shù)據(jù)、在哪里存儲(chǔ)以及存儲(chǔ)多長(zhǎng)時(shí)間。

但為連續(xù)性而設(shè)計(jì)意味著將彈性視為設(shè)計(jì)原則，而不是保險(xiǎn)政策。Copeland說(shuō)，保持領(lǐng)先地位的組織正在扁平化架構(gòu)，將計(jì)算推向更接近數(shù)據(jù)的位置，自動(dòng)化生命周期政策，并構(gòu)建AI管道可以故障轉(zhuǎn)移而無(wú)人費(fèi)力的環(huán)境。

扁平化架構(gòu)也減少了技術(shù)債務(wù)，但大多數(shù)企業(yè)已經(jīng)積累了如此多層的工具、代理、隊(duì)列、存儲(chǔ)層和檢查點(diǎn)，以至于他們的AI管道表現(xiàn)得像魯布·戈德堡機(jī)器。他補(bǔ)充說(shuō)："數(shù)據(jù)必須在到達(dá)需要它的模型之前在該堆棧中上下爬行，每一跳都增加延遲、脆弱性和運(yùn)營(yíng)開(kāi)銷(xiāo)。"

找出延遲的來(lái)源，你可能會(huì)發(fā)現(xiàn)不需要的系統(tǒng)。他繼續(xù)說(shuō)："刪除冗余中間件，自動(dòng)化數(shù)據(jù)放置和生命周期政策，并將工作負(fù)載轉(zhuǎn)向數(shù)據(jù)已經(jīng)存在的環(huán)境。"整合存儲(chǔ)層，將GPU工作負(fù)載移動(dòng)到更簡(jiǎn)單的區(qū)域或本地環(huán)境中，并調(diào)優(yōu)網(wǎng)絡(luò)路徑應(yīng)該允許系統(tǒng)表現(xiàn)可預(yù)測(cè)而不是混亂。

數(shù)據(jù)設(shè)計(jì)

使AI擴(kuò)展幾乎肯定意味著仔細(xì)審視你的數(shù)據(jù)架構(gòu)。每個(gè)數(shù)據(jù)庫(kù)都為AI添加功能。數(shù)據(jù)湖倉(cāng)承諾你可以將運(yùn)營(yíng)數(shù)據(jù)和分析結(jié)合在一起，而不影響生產(chǎn)工作負(fù)載的SLA?；蛘吣憧梢允褂孟馎zure Fabric這樣的數(shù)據(jù)平臺(tái)走得更遠(yuǎn)，引入流和時(shí)間序列數(shù)據(jù)用于AI應(yīng)用程序。

如果你已經(jīng)嘗試了不同的方法，你可能需要重新架構(gòu)你的數(shù)據(jù)層，以擺脫分散微服務(wù)的運(yùn)營(yíng)擴(kuò)散，在這種情況下，獨(dú)立向量存儲(chǔ)、圖數(shù)據(jù)庫(kù)和文檔孤島之間的每次數(shù)據(jù)移交都會(huì)引入延遲和治理間隙。太多故障點(diǎn)使得難以提供高可用性保證。

云AI數(shù)據(jù)庫(kù)平臺(tái)SingleStore的首席產(chǎn)品和技術(shù)官Nadeem Asghar說(shuō)："傳統(tǒng)的數(shù)據(jù)庫(kù)、管道和定制向量存儲(chǔ)的拼湊根本無(wú)法跟上AI的延遲、治理和規(guī)模要求。統(tǒng)一智能平面將取代今天的分散堆棧，將數(shù)據(jù)、計(jì)算和推理合并到單一實(shí)時(shí)系統(tǒng)中。"

圖數(shù)據(jù)庫(kù)提供商Memgraph的CEO Dominik Tomicevic建議將形成智能層的模型和智能體與知識(shí)層分離，在知識(shí)層中，真理、數(shù)據(jù)和信息存在并需要跨區(qū)域或地區(qū)的同步或近同步副本。

盡管AI基礎(chǔ)設(shè)施意味著處理數(shù)據(jù)和網(wǎng)絡(luò)密集的分布式系統(tǒng)，但他將此視為可解決的工程問(wèn)題。他說(shuō)："彈性AI堆棧始于強(qiáng)類型知識(shí)圖或GraphRAG存儲(chǔ)，可以像任何其他關(guān)鍵任務(wù)數(shù)據(jù)庫(kù)一樣被集群化、復(fù)制、備份、監(jiān)控和訪問(wèn)控制。"

這給你靈活性來(lái)分別擴(kuò)展搜索和數(shù)據(jù)節(jié)點(diǎn)，甚至在未來(lái)更改模型和供應(yīng)商。這也意味著安全和彈性攜手并進(jìn)。

他補(bǔ)充說(shuō)："圖級(jí)別的細(xì)粒度訪問(wèn)控制意味著檢索層永遠(yuǎn)不會(huì)泄露底層數(shù)據(jù)庫(kù)不允許的數(shù)據(jù)，即使大語(yǔ)言模型很好奇。在此基礎(chǔ)上，你專門(mén)為AI烘焙可觀測(cè)性和服務(wù)級(jí)別目標(biāo)，如GraphRAG查詢的延遲和錯(cuò)誤預(yù)算、檢索結(jié)果的質(zhì)量指標(biāo)和模型調(diào)用的成本預(yù)算。"

建立平臺(tái)

從原型轉(zhuǎn)向提供AI價(jià)值的生產(chǎn)部署的壓力意味著個(gè)別項(xiàng)目需要政策和最佳實(shí)踐來(lái)構(gòu)建，而不是必須自己做出所有正確決策，這樣他們就可以專注于技術(shù)問(wèn)題，如選擇模型而不是構(gòu)建基礎(chǔ)設(shè)施。

如果這聽(tīng)起來(lái)像平臺(tái)工程的原則，那就是如何使AI成為能力而不是一系列實(shí)驗(yàn)。IDC的Saroff認(rèn)為，你已經(jīng)完成的統(tǒng)一平臺(tái)工作流為你提供了流程、API、數(shù)據(jù)和技術(shù)的支柱。你提供包括GPU和加速器的基礎(chǔ)設(shè)施，以及多種計(jì)算方式、模型的可觀測(cè)性、API調(diào)用和應(yīng)用程序，以及成本管理和治理，而不是一遍又一遍地解決相同的問(wèn)題。

所有這些系統(tǒng)都需要饋入具有近實(shí)時(shí)反饋的可觀測(cè)性和優(yōu)化工具。你不能等到收到月度云賬單才發(fā)現(xiàn)你已經(jīng)超出預(yù)算，或者等到遭遇停機(jī)才意識(shí)到你依賴的API正在返回錯(cuò)誤并需要多次重試。API管理是跟蹤使用情況和優(yōu)化成本的關(guān)鍵。

你需要所有這些與現(xiàn)有基礎(chǔ)設(shè)施和工作流集成。Domino Data Lab的現(xiàn)場(chǎng)首席數(shù)據(jù)科學(xué)家Jarrod Vawdrey認(rèn)為："每家公司都有同樣的問(wèn)題。你需要AI來(lái)競(jìng)爭(zhēng)，但你所有的實(shí)際業(yè)務(wù)都運(yùn)行在iPhone出現(xiàn)之前的傳統(tǒng)基礎(chǔ)設(shè)施和軟件上。"

他將前置部署工程師定義為在期望的業(yè)務(wù)成果、傳統(tǒng)系統(tǒng)和現(xiàn)代AI能力之間導(dǎo)航復(fù)雜性的翻譯者。"他們可以處理大語(yǔ)言模型并將其與你20年前沒(méi)人想碰的ERP系統(tǒng)集成。"

集成將是新的，但基礎(chǔ)不是。技術(shù)研究和咨詢公司CCS Insight的企業(yè)研究主管Bola Rotibi說(shuō)，正確做IT就是讓你能夠正確做AI。

好消息是，你可能已經(jīng)使用了例如云的良好架構(gòu)框架完成了繁重的工作，因?yàn)锳I應(yīng)用程序?qū)⒗^承該冗余、異常處理和混沌工程。她說(shuō)："如果你的架構(gòu)是為彈性而構(gòu)建的，那么你很可能已經(jīng)開(kāi)始思考支撐AI所需的所有事情。"

當(dāng)然，所有這些都要花錢(qián)。IDC預(yù)測(cè)，到2027年，組織將意識(shí)到他們低估了AI基礎(chǔ)設(shè)施成本近三分之一，并將開(kāi)始對(duì)其應(yīng)用FinOps。

但Rotibi建議，真正的彈性依賴于理解業(yè)務(wù)和運(yùn)營(yíng)環(huán)境，形成更加結(jié)合、協(xié)作的環(huán)境。雖然CIO通常難以證明基礎(chǔ)設(shè)施投資的合理性，但將其與提供可靠和安全的AI聯(lián)系起來(lái)，使IT能夠繼續(xù)提供與業(yè)務(wù)優(yōu)先級(jí)一致的價(jià)值，而不是被視為成本中心。

Q&A

Q1：為什么很多企業(yè)在AI從概念驗(yàn)證擴(kuò)展到生產(chǎn)時(shí)會(huì)失?。?/p>

A：主要原因是基礎(chǔ)設(shè)施不足。超過(guò)半數(shù)企業(yè)領(lǐng)袖表示他們沒(méi)有合適的基礎(chǔ)設(shè)施支持AI工作負(fù)載。在傳統(tǒng)架構(gòu)上運(yùn)行AI就像通過(guò)撥號(hào)網(wǎng)絡(luò)傳輸4K視頻，現(xiàn)實(shí)與期望差距巨大。企業(yè)需要用混合云原生設(shè)計(jì)替換僵化的傳統(tǒng)系統(tǒng)。

Q2：AI對(duì)網(wǎng)絡(luò)和GPU有什么特殊要求？

A：AI需要高帶寬、低延遲的網(wǎng)絡(luò)來(lái)處理大量數(shù)據(jù)傳輸和推理調(diào)用。GPU基礎(chǔ)設(shè)施構(gòu)建困難，需要特殊的驅(qū)動(dòng)程序和操作器。AI工作流更依賴網(wǎng)絡(luò)，需要跨機(jī)器擴(kuò)展，這與傳統(tǒng)企業(yè)工作負(fù)載有很大不同。還需要智能路由、負(fù)載均衡和自動(dòng)故障轉(zhuǎn)移。

Q3：如何構(gòu)建彈性的AI基礎(chǔ)設(shè)施？

A：需要扁平化架構(gòu)，減少技術(shù)債務(wù)，將計(jì)算推向更接近數(shù)據(jù)的位置。要建立統(tǒng)一的數(shù)據(jù)平臺(tái)，避免分散的微服務(wù)架構(gòu)。同時(shí)需要可觀測(cè)性和實(shí)時(shí)監(jiān)控，API管理來(lái)控制成本，以及與現(xiàn)有系統(tǒng)的集成。將彈性作為設(shè)計(jì)原則而非事后補(bǔ)救措施。