2024年GPU調(diào)度還是各家自研的野路子，2025年英偉達(dá)DGX Cloud和OpenShift開始互掐接口標(biāo)準(zhǔn)，到2026年3月的KubeCon歐洲站，微軟突然攤牌——他們手里握著7個已進(jìn)入CNCF孵化期的開源項目，全部指向同一個目標(biāo)：讓AI負(fù)載在Kubernetes里變成"一等公民"。

這不是技術(shù)升級，是游戲規(guī)則重寫。

Azure Kubernetes Service（AKS）產(chǎn)品負(fù)責(zé)人Sean McKenna在阿姆斯特丹的演講里打了個比方：早期云原生解決的是"怎么讓容器跑起來"，現(xiàn)在AI基建卡在"怎么讓好答案和壞答案可區(qū)分、可回滾、可審計"。從"能用"到"可信"，中間隔著整個運維哲學(xué)的斷層。

微軟的解法很產(chǎn)品經(jīng)理：不造新輪子，把K8s成熟的那套"變更安全"機(jī)制，原樣搬進(jìn)AIinfra。

調(diào)度層：GPU終于不用"搶車位"了

McKenna團(tuán)隊過去18個月干了一件很"反微軟"的事——把Azure內(nèi)部的GPU調(diào)度邏輯全拆成開源標(biāo)準(zhǔn)，推給CNCF。

核心叫Dynamic Resource Allocation（動態(tài)資源分配，DRA）。傳統(tǒng)K8s調(diào)度像食堂打飯：GPU是整份套餐，你要1/10算力也得端著整盤走。DRA改成"自選稱重"：顯存、計算單元、甚至Tensor Core時段，都能切片申請。

更狠的是Topology Aware Scheduling（拓?fù)涓兄{(diào)度）。多卡訓(xùn)練時，NVLink和PCIe的物理距離直接決定通信延遲。以前調(diào)度器看不見這些，現(xiàn)在微軟把硬件拓?fù)鋱D喂進(jìn)調(diào)度決策，讓K8s像老網(wǎng)管一樣知道"哪幾張卡挨著，哪幾張隔著半個機(jī)房"。

這兩個項目2024年還是提案階段，2025年Q4進(jìn)入Kubernetes 1.32 Beta，2026年3月微軟宣布：AKS已默認(rèn)開啟，且向后兼容到1.28版本。

「我們不是在做Azure的功能，是在補K8s的拼圖?！筂cKenna的原話。

觀測層：黑盒模型的"飛行記錄儀"

AI運維最折磨人的場景：模型輸出突然跑偏，你不知道是數(shù)據(jù)漂移、權(quán)重?fù)p壞，還是某張GPU的顯存靜默報錯。

微軟推了Kaito（Kubernetes AI Toolchain Operator）的2.0版本，新增Model Observatory模塊。它把推理請求的輸入輸出、延遲分布、token級熱力圖，全部接進(jìn)Prometheus標(biāo)準(zhǔn)指標(biāo)。

換句話說，以前調(diào)優(yōu)LLM像修老式收音機(jī)——拍兩下看反應(yīng)；現(xiàn)在像看飛機(jī)黑匣子，每次"顛簸"都有時序數(shù)據(jù)可回溯。

更隱蔽的改動在Retina——微軟開源的CNI（容器網(wǎng)絡(luò)接口）插件。它給每個Pod加了eBPF級別的網(wǎng)絡(luò)遙測，能抓到RDMA（遠(yuǎn)程直接內(nèi)存訪問）鏈路的微秒級抖動。這對多節(jié)點分布式訓(xùn)練是剛需：一次NCCL（NVIDIA集合通信庫）超時，可能讓價值50萬美元的GPU小時直接打水漂。

多集群：從"聯(lián)邦制"到"單一控制面"

AKS Fleet Manager的更新被嚴(yán)重低估了。它現(xiàn)在支持跨云、跨區(qū)域的GPU資源池統(tǒng)一調(diào)度，延遲敏感任務(wù)自動下沉到邊緣節(jié)點，批處理任務(wù)上浮到廉價 Spot 實例。

McKenna舉了個客戶案例：某自動駕駛公司用Fleet Manager把模型訓(xùn)練拆成三段——數(shù)據(jù)清洗在Azure德國（合規(guī)）、預(yù)訓(xùn)練在Azure美國中部（H100充足）、微調(diào)在本地邊緣集群（低延遲驗證）。三段用同一套K8s API，同一套RBAC（基于角色的訪問控制）策略。

這直接挑戰(zhàn)了Anthropic和Google的私有方案。后者通常要求你在每個環(huán)境跑不同的控制平面，再用專有工具做任務(wù)遷移。

安全：當(dāng)模型權(quán)重變成"數(shù)據(jù)"

微軟在AKS里塞了一個叫"Confidential Containers on GPU"的功能，基于AMD SEV-SNP和Intel TDX的機(jī)密計算擴(kuò)展。簡單說，模型權(quán)重在顯存里也是加密的，宿主機(jī)root權(quán)限也讀不到。

這對金融和醫(yī)療客戶是硬需求——模型即知識產(chǎn)權(quán)，比代碼更值錢。但技術(shù)實現(xiàn)很刁鉆：GPU的TEE（可信執(zhí)行環(huán)境）和CPU的TEE要跨廠商握手，微軟聯(lián)合AMD、NVIDIA干了兩年才把延遲壓到可接受范圍。

「我們不想讓客戶在"安全"和"性能"之間二選一?！筂cKenna說這話時，現(xiàn)場有工程師喊了聲"終于"。

存儲：檢查點（Checkpoint）的"秒級復(fù)活"

大模型訓(xùn)練最怕什么？不是慢，是斷。一次 checkpoint 寫入慢10秒，可能讓整輪迭代從頭來。

AKS新集成了Azure Container Storage的"流式檢查點"功能，把GPU顯存狀態(tài)直接刷進(jìn)NVMe-oF（NVMe over Fabrics）后端，繞過內(nèi)核頁緩存。微軟給出的數(shù)字：175B參數(shù)的模型，checkpoint 時間從4分鐘壓到23秒。

這個數(shù)字被現(xiàn)場一位Google工程師質(zhì)疑過——他懷疑是特定場景優(yōu)化。McKenna的回應(yīng)很直接：「歡迎拿你的 workload 來測，數(shù)據(jù)開源在GitHub?！?/b>

這種"用代碼說話"的姿態(tài)，在微軟過去十年的K8s社區(qū)史里并不常見。2014年他們還在推Azure Service Fabric，和K8s正面競爭；2018年被迫"擁抱"；2023年開始大規(guī)模 upstream 貢獻(xiàn)；到2026年，微軟已經(jīng)是CNCF AI Working Group的聯(lián)合主席。

轉(zhuǎn)變的底層邏輯，McKenna在采訪里點破了：「AI基建的贏家不是擁有最好芯片的人，是讓芯片利用率最高的人。而利用率的上限，由運維成熟度決定?！?/p>

這解釋了為什么微軟愿意把Azure的內(nèi)部工具全開源——標(biāo)準(zhǔn)越統(tǒng)一，他們作為最大云廠商的規(guī)模優(yōu)勢越明顯。就像當(dāng)年AWS推S3 API成為事實標(biāo)準(zhǔn)，最后所有對象存儲都得兼容它。

現(xiàn)場一個細(xì)節(jié)：微軟展臺隔壁是英偉達(dá)，兩家工程師在聯(lián)合演示一個場景——用DRA調(diào)度Grace Hopper超級芯片，同時用Kaito做模型熱更新。這種"競合"在2024年不可想象，當(dāng)時英偉達(dá)還在力推自己的Base Command Manager，和K8s生態(tài)若即若離。

現(xiàn)在英偉達(dá)的態(tài)度變了。他們的GTC 2026演講里，Kubernetes被提及47次，比前一年多一倍。

所以問題拋給讀者：當(dāng)GPU調(diào)度、模型觀測、機(jī)密計算這些高門檻能力，全部被K8s開源社區(qū)" flatten "成標(biāo)準(zhǔn)接口，那些靠私有方案賣高溢價的AIinfra創(chuàng)業(yè)公司，還剩多少窗口期？