作者 | 棱鏡

過去幾年里，GPU 幾乎成為所有技術(shù)團(tuán)隊(duì)的“硬通貨”。高端 GPU 不僅價(jià)格貴，而且很難購(gòu)買到。以 A100 為代表的數(shù)據(jù)中心級(jí) GPU 在市場(chǎng)上長(zhǎng)期維持在 10000 美元到 12000 美元區(qū)間，疊加地區(qū)供應(yīng)與合規(guī)管制，使 GPU 逐漸演變?yōu)橐环N高成本、難擴(kuò)展的稀缺計(jì)算資源。

與 GPU 緊缺的普遍認(rèn)知相悖的是，許多組織同時(shí)面臨著 GPU 利用率長(zhǎng)期偏低的現(xiàn)實(shí)問題。根據(jù) ClearML 發(fā)布的 2025–2026 年全球 AI 基礎(chǔ)設(shè)施調(diào)研報(bào)告，35% 的企業(yè)已將提升 GPU 利用率列為首要基礎(chǔ)設(shè)施目標(biāo)，而 44% 的組織缺乏有效的 GPU 利用率管理策略，由此造成的 GPU 容量浪費(fèi)每年可達(dá)數(shù)百萬美元級(jí)別。

源于實(shí)際生產(chǎn)環(huán)境的反饋進(jìn)一步驗(yàn)證了這一點(diǎn)，在大量 GPU 計(jì)算場(chǎng)景，尤其是以推理作為核心的業(yè)務(wù)，GPU 的實(shí)際利用效率普遍偏低，在不少企業(yè)環(huán)境里，GPU 的平均利用率長(zhǎng)期低于 50%；而在 OCR、NLP 推理的典型在線場(chǎng)景中，單卡 GPU 的算力利用水平甚至只有 20%–30%。也就是說，在 GPU 持續(xù)短缺的情況下，諸多已部署的算力未實(shí)現(xiàn)充分利用。

為解決這一矛盾，業(yè)界其實(shí)進(jìn)行過很多嘗試。過去幾年，有關(guān) GPU 共享的技術(shù)探索不斷涌現(xiàn)，其核心思路便是把多個(gè) GPU 應(yīng)用部署到同一張 GPU 卡上，以提高單張 GPU 卡的資源利用水平。然而，在生產(chǎn)環(huán)境里，這類方案始終面臨一個(gè)問題：共享之后用起來沒那么好用。既有的方案無法同時(shí)達(dá)成算力隔離、顯存隔離、故障隔離以及資源靈活切割等關(guān)鍵能力，資源 QoS 難以保障，多個(gè)任務(wù)之間彼此干擾，甚至單個(gè)任務(wù)出現(xiàn)異常就會(huì)影響整卡的穩(wěn)定。怎樣在保障業(yè)務(wù)性能和隔離安全的基礎(chǔ)上，實(shí)現(xiàn)可用、可控的 GPU 共享機(jī)制？

本文將以 GPU 使用結(jié)構(gòu)的變化為切入點(diǎn)，分析 GPU 長(zhǎng)期“用不好”的原因，并通過騰訊云 TencentOS qGPU 內(nèi)核態(tài)虛擬化以及在離線混部技術(shù)解析，探討 GPU 資源切分與調(diào)度能力怎樣走向生產(chǎn)可用，并實(shí)現(xiàn)降本增效。

1 為什么需求暴漲的同時(shí)，GPU 卻長(zhǎng)期“用不好”？

價(jià)格高、供應(yīng)受限導(dǎo)致 GPU 不夠用已經(jīng)成為很多技術(shù)團(tuán)隊(duì)的共識(shí)。但倘若把觀察的視角從采購(gòu)規(guī)模轉(zhuǎn)向?qū)嶋H運(yùn)行情形就會(huì)發(fā)現(xiàn)，問題的根源并非僅僅是硬件數(shù)量，而是 GPU 的使用方式正在變化。

過去，GPU 主要在離線訓(xùn)練或高吞吐計(jì)算任務(wù)中使用，負(fù)載相對(duì)平穩(wěn)，整卡獨(dú)占也相對(duì)合理。但隨著 AI 能力漸漸嵌入業(yè)務(wù)體系，推理及在線服務(wù)在 GPU 工作負(fù)載里的占比漸漸增大。這類業(yè)務(wù)對(duì)低時(shí)延和穩(wěn)定性具有更高的要求，請(qǐng)求模式呈現(xiàn)出峰值時(shí)間短暫、突發(fā)性強(qiáng)但整體不連續(xù)的特性。這種情況下，單個(gè)應(yīng)用很難持續(xù)填滿整張 GPU。

然而，為保證服務(wù)穩(wěn)定，許多推理服務(wù)仍選擇長(zhǎng)時(shí)間獨(dú)占 GPU。該方式直接造成算力與顯存無法按需分配，GPU 在大量的時(shí)間未實(shí)現(xiàn)充分利用。即便不同業(yè)務(wù)在時(shí)間上表現(xiàn)出高度互補(bǔ)，也難以共享同一張卡。隨著業(yè)務(wù)規(guī)模擴(kuò)大，資源浪費(fèi)的現(xiàn)象也被逐步放大。

GPU 使用模式已然出現(xiàn)改變，可依然在采用早期獨(dú)占式的管理方法，為何 GPU 無法像 CPU 那樣實(shí)現(xiàn)高效調(diào)度？

更深層的原因是，GPU 與 CPU 在計(jì)算模型上的核心差異，造成其難以直接借用成熟的云原生調(diào)度范式。GPU 并非更快的 CPU 類型，其顯存、算力、Kernel、Stream 和執(zhí)行上下文高度耦合，CUDA 編程模型默認(rèn)以進(jìn)程級(jí)對(duì)設(shè)備的獨(dú)占為前提。這使得調(diào)度系統(tǒng)難以感知 GPU 內(nèi)部真實(shí)負(fù)載，算力與顯存不易被獨(dú)立、穩(wěn)定地管控，而單個(gè)任務(wù)異常，往往會(huì)被放大成整卡無法使用的風(fēng)險(xiǎn)。因此，GPU 在很長(zhǎng)的時(shí)間里都未被看作標(biāo)準(zhǔn)化、可共享的計(jì)算資源。

2 GPU 共享方案技術(shù)路徑與邊界

當(dāng) GPU 利用率問題逐步成為行業(yè)共識(shí)后，共享幾乎是繞不開的方法。近幾年，出現(xiàn)了多種圍繞 GPU 共享的技術(shù)路徑，它們?cè)谝欢ǔ潭壬咸岣吡瞬l(fā)能力，但在生產(chǎn)環(huán)境里面也漸漸暴露出各自存在的局限。

業(yè)界主流 GPU 共享方案及其局限

較早被采用的方案，來自用戶態(tài)或框架層的 API 攔截思路，經(jīng)由在 CUDA Runtime 或深度學(xué)習(xí)框架層面介入 GPU 的調(diào)用，這類方案能在不調(diào)整底層驅(qū)動(dòng)的狀況下，做到多任務(wù)并發(fā)運(yùn)行。 優(yōu)點(diǎn)為部署靈活，但代價(jià)同樣十分明顯。這類方案屬于上層調(diào)度，它既要求應(yīng)用側(cè)進(jìn)行適配，也無法深入到 GPU 實(shí)際的執(zhí)行階段。鑒于難以準(zhǔn)確感知不同 CUDA Kernel 的真實(shí)計(jì)算消耗，算力隔離僅停留在近似控制層面，復(fù)雜負(fù)載下容易失效。這是該類方案難以實(shí)現(xiàn)生產(chǎn)級(jí) GPU 共享的核心原因。

采用虛擬化的 vGPU 方案在隔離性上更進(jìn)一步。依靠虛擬機(jī)層面對(duì) GPU 進(jìn)行劃分，vGPU 能提供較強(qiáng)的資源邊界，適配多租戶的環(huán)境。然而方案面臨的最大問題是不支持容器，僅僅支持虛擬化場(chǎng)景。在 K8S 的云原生場(chǎng)景不適用，而且也無法靈活配置顯存和算力。

NVIDIA MPS 主要是針對(duì)并發(fā)執(zhí)行效率問題，它允許多個(gè)進(jìn)程共享 GPU 執(zhí)行上下文，在吞吐型場(chǎng)景中成效明顯，然而不提供資源隔離的相關(guān)能力。單個(gè)任務(wù)對(duì)顯存或算力的異常占用，還是有可能影響別的任務(wù)，生產(chǎn)環(huán)境里面臨故障傳播的風(fēng)險(xiǎn)。

隨著硬件能力的演進(jìn)，MIG 被看作相對(duì)更貼近硬件層的共享方案，MIG 可從物理層面實(shí)現(xiàn)對(duì) GPU 的切分，在隔離性方面具有優(yōu)勢(shì)，然而其切分規(guī)格是既定的，還依賴特定 GPU 型號(hào)，同時(shí)也不支持顯存及算力的靈活配置。

整體來看，這些方案都在不同指標(biāo)上進(jìn)行了取舍。在真實(shí)生產(chǎn)環(huán)境中，一旦負(fù)載情況復(fù)雜或任務(wù)出現(xiàn)異常，這些方案的局限便會(huì)迅速暴露出來。也正因?yàn)槿绱?，?dāng)用戶態(tài)和外圍機(jī)制逐漸難以滿足要求，行業(yè)開始將探索方向轉(zhuǎn)向更底層。

內(nèi)核態(tài) GPU 虛擬化技術(shù)解析

GPU 調(diào)度的復(fù)雜性決定了真正的資源控制點(diǎn)，不在框架層，而是在驅(qū)動(dòng)和內(nèi)核層。與用戶態(tài)方案相比，內(nèi)核態(tài)技術(shù)不依靠特定框架或 CUDA Runtime，對(duì)上層業(yè)務(wù)基本沒有影響。應(yīng)用無需對(duì)代碼做出修改就能得到更細(xì)粒度的資源控制能力。同時(shí)，算力與顯存的限制在驅(qū)動(dòng)層可以強(qiáng)制執(zhí)行，從工程方面明顯降低了任務(wù)的彼此干擾，也為故障隔離提供了基礎(chǔ)條件。

騰訊云 TencentOS qGPU 正是按照這一邏輯進(jìn)行實(shí)踐的，其技術(shù)路徑選用以內(nèi)核態(tài) GPU 虛擬化作為切入點(diǎn)，在驅(qū)動(dòng)層實(shí)現(xiàn)算力跟顯存的精細(xì)切分，再引入故障隔離相關(guān)機(jī)制，防止單一任務(wù)異常波及整卡的穩(wěn)定。 在此基礎(chǔ)上，qGPU 把這些被分割的 GPU 資源納入云原生調(diào)度體系，讓 GPU 成為可讓調(diào)度系統(tǒng)理解的細(xì)粒度資源單元。 在 ResNet50 推理測(cè)試中，qGPU 在多 Pod 場(chǎng)景下實(shí)現(xiàn)了嚴(yán)格的算力隔離，實(shí)際性能與預(yù)設(shè)配比有著高度一致性。不同切分規(guī)格下，各 Pod 性能累加與原生 GPU 基本一致，整體性能損耗幾乎可以忽略。

3 從資源切分到在離線混部，決定 GPU 利用率上限的關(guān)鍵

當(dāng) GPU 資源能夠被穩(wěn)定切分，一個(gè)新挑戰(zhàn)隨之出現(xiàn)：這些 GPU 資源是否真的能持續(xù)、高效地被利用起來？在生產(chǎn)環(huán)境里，這更多依賴調(diào)度策略的安排，而非切分粒度自身。很多情況下，GPU 無法共享并非是技術(shù)上不可行，而是缺乏合適的調(diào)度策略。

在離線混部成為 GPU 利用率提升的關(guān)鍵

在實(shí)際業(yè)務(wù)中，在線推理與離線任務(wù)的需求差別極為明顯，在線推理圍繞用戶請(qǐng)求開展，對(duì)延遲、穩(wěn)定性有嚴(yán)格的要求。離線任務(wù)則更看重整體吞吐與執(zhí)行成本，對(duì)完成時(shí)間的要求相對(duì)沒那么嚴(yán)格。

從時(shí)間角度看，這兩類負(fù)載一般情況下并不同步。在線服務(wù)有明顯的流量波動(dòng)，而離線任務(wù)可在空閑時(shí)段執(zhí)行。如果能實(shí)現(xiàn)混部，離線任務(wù)就可以填補(bǔ)在線業(yè)務(wù)所剩的空閑算力，進(jìn)而大幅提升 GPU 的整體使用效率。

GPU 混部的工程難點(diǎn)

GPU 混部的難點(diǎn)，首先表現(xiàn)在調(diào)度控制上。在線業(yè)務(wù)負(fù)載突然上升時(shí)，系統(tǒng)得及時(shí)把算力資源回收，待到負(fù)載下降后恢復(fù)離線任務(wù)，這對(duì)搶占時(shí)機(jī)及恢復(fù)機(jī)制提出了較高要求。

其次是業(yè)務(wù)優(yōu)先級(jí)方面的問題。處于混部的場(chǎng)景中，不同任務(wù)就性能抖動(dòng)的容忍度差異明顯。若缺少清晰、可執(zhí)行的優(yōu)先級(jí)機(jī)制，混部極易影響到在線服務(wù)的穩(wěn)定性。

更現(xiàn)實(shí)的挑戰(zhàn)來自 GPU 本身。GPU 做上下文切換的成本偏高，顯存狀態(tài)復(fù)雜，任務(wù)執(zhí)行期間往往伴隨著大量中間數(shù)據(jù)。要是資源邊界的界定模糊，混部非但不能讓利用率有所提升，反倒有概率引入新的未知變數(shù)。這就是許多團(tuán)隊(duì)對(duì)于 GPU 混部保持謹(jǐn)慎的原因。

qGPU 在這一階段解決的問題

處于這一階段，qGPU 關(guān)注的重點(diǎn)不再只是資源切分，而是怎樣在穩(wěn)定隔離的狀況下支持混部運(yùn)行。借助在底層構(gòu)建明確的資源邊界，在線任務(wù)跟離線任務(wù)可在同一張 GPU 上并行著運(yùn)行，同時(shí)避免相互間的干擾。更關(guān)鍵的一點(diǎn)是，qGPU 讓 GPU 成為調(diào)度系統(tǒng)可理解和管理的資源。GPU 不再被固定綁定到某個(gè)應(yīng)用，而是可以依照業(yè)務(wù)優(yōu)先級(jí)及負(fù)載變化做動(dòng)態(tài)分配。這讓 GPU 利用率提升不再依靠人工調(diào)試，轉(zhuǎn)而成為系統(tǒng)層面的長(zhǎng)期能力。

當(dāng) GPU 能夠被切分、被調(diào)度、被混合使用，資源利用率才具備持續(xù)提升的可能。這同樣為 GPU 共享在更大規(guī)模生產(chǎn)環(huán)境里落地奠定了基礎(chǔ)。

4 跨行業(yè)實(shí)踐：當(dāng) GPU 共享走向生產(chǎn)可用

當(dāng) GPU 共享真正擁有穩(wěn)定隔離以及統(tǒng)一調(diào)度能力后，其價(jià)值開始在各行各業(yè)的業(yè)務(wù)中逐步被驗(yàn)證。

1. 金融行業(yè)：在強(qiáng)穩(wěn)定性約束下釋放閑置算力

金融行業(yè)里，GPU 主要用在 OCR、NLP 推理以及部分實(shí)時(shí)分析的場(chǎng)景中， 這類業(yè)務(wù)對(duì)穩(wěn)定性跟隔離性的要求極高。長(zhǎng)久以來普遍采取整卡獨(dú)占的方式去運(yùn)行，造成大量算力處在閑置狀態(tài)。

結(jié)合騰訊云 TencentOS qGPU 的實(shí)踐經(jīng)驗(yàn)，一旦 GPU 能在底層實(shí)現(xiàn)算力與顯存的硬隔離，多個(gè)推理任務(wù)便可在同一塊 GPU 上并行運(yùn)行，而不會(huì)彼此干擾。在業(yè)務(wù)負(fù)載穩(wěn)定的前提下，GPU 平均利用水平顯著上升。此外，由于隔離邊界清晰，單一任務(wù)的異常狀況不再干擾整卡的運(yùn)行，這讓金融生產(chǎn)環(huán)境中的 GPU 共享具備了可接受的風(fēng)險(xiǎn)水平。

2. 互聯(lián)網(wǎng)企業(yè) OCR 場(chǎng)景：從獨(dú)占低效到規(guī)?；蚕?/p>

在 OCR 場(chǎng)景里，GPU 出現(xiàn)低利用率問題格外典型。OCR 推理任務(wù)一般計(jì)算密度不大，單模型在 GPU 上難以形成持續(xù)不斷的高負(fù)載。某頭部互聯(lián)網(wǎng)企業(yè)在引入 GPU 共享前，在線 OCR 業(yè)務(wù)大多采用 GPU 獨(dú)占式部署，單張 GPU 的利用率長(zhǎng)期低于 40%，但業(yè)務(wù)側(cè)不敢合并部署，原因就在于不同任務(wù)之間缺乏有效的隔離手段，要是出現(xiàn)異常，往往會(huì)讓整卡的穩(wěn)定性受到影響。

在引入基于內(nèi)核態(tài)虛擬化的 qGPU 方案后，該企業(yè)把原本獨(dú)占的 GPU 資源整合進(jìn)統(tǒng)一的容器調(diào)度體系。GPU 被切分成更細(xì)粒度的邏輯資源單元，還在算力及顯存方面構(gòu)建明確的隔離邊界。多個(gè) OCR 推理服務(wù)得以在同一張 GPU 上并行運(yùn)行，無需對(duì)原有應(yīng)用代碼進(jìn)行修改。從運(yùn)行的實(shí)際效果看，業(yè)務(wù)部署密度提高了 1 - 3 倍，GPU 能同步承載更多推理實(shí)例，以往無法利用的碎片算力被填滿。在 GPU 總規(guī)模維持原狀的前提下，整體 GPU 利用率提升了約 100%，年化 TCO 成本節(jié)約超 50%。

3. 在線教育場(chǎng)景：在成本壓力下實(shí)現(xiàn)在離線混部

在線教育平臺(tái)一般會(huì)同時(shí)運(yùn)行幾十種模型、20 余個(gè) AI 推理服務(wù)，每個(gè)模型負(fù)載較低，不過數(shù)量眾多，GPU 顯存及算力長(zhǎng)期無法充分消耗。就傳統(tǒng)方案而言，MPS 或用戶態(tài)攔截機(jī)制不易實(shí)現(xiàn)可靠的故障隔離，難以支撐大規(guī)模生產(chǎn)使用。

通過 qGPU 的方案，該平臺(tái)把 GPU 資源池化，且依據(jù)業(yè)務(wù)優(yōu)先級(jí)調(diào)度：在線推理服務(wù)拿到穩(wěn)定算力的保障，離線任務(wù)在空閑時(shí)段自動(dòng)填充剩余資源，實(shí)現(xiàn)在離線混部運(yùn)行。從實(shí)際落地效果看，GPU 資源部署密度提升了 3 倍以上，月 TCO 成本下降約 40%，整體的推理效率提升約 30%，業(yè)務(wù)側(cè)基本無感，不必替換 CUDA 庫(kù)，也無需修改模型代碼。

5 寫在最后

在可預(yù)見的未來，GPU 的稀缺不會(huì)很快結(jié)束。價(jià)格高、供應(yīng)受限，依舊是多數(shù)團(tuán)隊(duì)躲不過的現(xiàn)實(shí)情況，持續(xù)單純借助堆卡，只會(huì)讓成本壓力不斷擴(kuò)大，沒辦法從根本上解決問題。與此同時(shí)，GPU 的角色正在變化，它不再僅僅是一個(gè)性能更強(qiáng)的計(jì)算設(shè)備，而是漸漸轉(zhuǎn)化為需要長(zhǎng)期管理的基礎(chǔ)設(shè)施資源。隨著推理及在線服務(wù)成為主流負(fù)載，獨(dú)占式使用方式難以與新的業(yè)務(wù)形態(tài)相適配。

真正的難點(diǎn)不在于有沒有 GPU 共享方案，而在于這些方案是否具備工程可用性。只有在 GPU 可被穩(wěn)定切分、被調(diào)度系統(tǒng)理解，且在不同業(yè)務(wù)之間能夠安全復(fù)用，算力才可實(shí)現(xiàn)持續(xù)利用。只有當(dāng) GPU 像 CPU 那樣實(shí)現(xiàn)被治理，而不是被搶占，算力緊張的問題，才有可能在結(jié)構(gòu)上獲得緩解。