作者 | 棱鏡

近年來，全球 AI 算力規(guī)模按接近指數(shù)級的幅度增長，GPU 已然是整個數(shù)據(jù)中心的絕對主角，而 CPU 一般被認為只是承擔數(shù)據(jù)預(yù)處理、任務(wù)調(diào)度和通信協(xié)同的次要部分。然而，在真實的大模型訓練與推理集群里面，我們察覺到一種長期存在的資源矛盾：在 GPU 滿負荷運轉(zhuǎn)的場景下，CPU 的利用率往往處于偏低水平。根據(jù)《DLBench：深度學習框架的綜合實驗評估》（DLBench: a comprehensive experimental evaluation of deep learning frameworks）數(shù)據(jù)顯示，在 CNN 架構(gòu)的大部分時間里，GPU 利用率接近 100%，而每個 CPU 核心的利用率在 9.3% 到 23% 之間。此外，當 GPU 利用率高時，CPU 利用率往往較低，反之亦然。

從企業(yè)的角度看，浪費掉的不只是資源，同時也是成本。以一臺典型的 8 卡 H100 服務(wù)器作為例子，該服務(wù)器按照市場平均月租金評估大約是 8.5 萬元，其中 CPU 成本占總成本的比例約為 30%，就是 2.55 萬元。如果 CPU 平均利用占比為 15%，也就意味著每月約有 2.17 萬元的 CPU 資源被浪費掉了，若把服務(wù)器數(shù)量擴展到 100 臺，一年當中浪費金額高達 2600 萬元，足以購置 25 臺 H100 服務(wù)器。

值得留意的是，這種 CPU 閑置不是因為任務(wù)不需要，而是因為業(yè)務(wù)不敢把它用上，GPU 密集計算過程中，CPU 必須隨時為數(shù)據(jù)加載、任務(wù)調(diào)度、通信同步等環(huán)節(jié)提供及時響應(yīng)，而這時 CPU 被別的任務(wù)占滿，就會引發(fā)訓練延遲、通信阻塞甚至任務(wù)無法達成，鑒于 CFS 等傳統(tǒng)調(diào)度機制無法做到絕對優(yōu)先級保障，所以行業(yè)內(nèi)許多 GPU 訓練集群都采用極為保守的 CPU 使用策略，形成了普遍的資源浪費。

與此同時，各類互聯(lián)網(wǎng)業(yè)務(wù)的服務(wù)端組件、大數(shù)據(jù)任務(wù)、批處理計算都希望獲得更多 CPU 資源。一邊是 CPU 處于閑置情形，另一邊是 CPU 緊缺的狀況。怎樣在確保不干擾 AI 訓練任務(wù)的情形下，釋放 GPU 節(jié)點上那些空閑的 CPU 資源？這并非只是資源利用率的問題，而是操作系統(tǒng)層面的技術(shù)阻礙：從設(shè)計來看，Linux CFS 調(diào)度類不適配異構(gòu)計算與高優(yōu)實時任務(wù)的需求。

正是在這樣的背景下，TencentOS 如意 (RUE) 的在離線混部技術(shù)吸引了行業(yè)目光，采用深度改造 Linux 內(nèi)核調(diào)度體系的辦法，它可以把 GPU 節(jié)點閑置的 CPU、網(wǎng)絡(luò)、IO、內(nèi)存資源再次激活，使一臺服務(wù)器可安全承載兩類任務(wù)，實現(xiàn)算力的高效釋放。

1 Linux CFS 的限制：為什么企業(yè)“不敢混”

在離線混部并非新的概念。其核心是將延遲敏感的在線任務(wù)跟計算密集但對時延沒那么敏感的離線任務(wù)部署到同一臺物理機上，以此提升資源利用率。然而，要搞懂在離線混部難以落地的原因，就得從操作系統(tǒng)的調(diào)度方面去看，Linux 默認采用的 CFS 調(diào)度類，力求做到公平，即便高優(yōu)任務(wù)也得參與公平隊列的時間片分配。但是，在實際的人工智能和在線服務(wù)中，延遲敏感型任務(wù)所需的是絕對的優(yōu)先，而非公平。

CFS 調(diào)度類無法給予絕對的搶占能力，哪怕高優(yōu)的 GPU 訓練任務(wù)需要 CPU 資源，但是如果 CPU 正在運行某個離線批處理任務(wù)，CFS 也只能按照調(diào)度周期依次切換，這樣的延遲足以造成相當明顯的卡頓。此外，CFS 隔離主要聚焦于 CPU 時間片，而在 IO、網(wǎng)絡(luò)以及內(nèi)存這些方面依靠的是 cgroups，然而 cgroups 的資源限制往往僅具備建議屬性，面對高爭搶場景無法給予嚴格保證。

在大規(guī)模業(yè)務(wù)實踐時，企業(yè)往往會利用提高在線任務(wù)權(quán)重、分配更多 CPU 配額等方式來避免資源沖突，然而收效甚微。在推進混部嘗試的階段，網(wǎng)絡(luò)帶寬猛然下降使得請求超時、離線大文件讀寫造成 IO 的阻塞現(xiàn)象、CPU 爭搶引起卡頓，都是司空見慣的現(xiàn)象。因此，雖然混部從理論角度講是可行的，然而在穩(wěn)定性要求極為苛刻的 AI 訓練、在線交易等場景，企業(yè)寧可付出額外的成本，也不敢貿(mào)然嘗試。

2 調(diào)度的新秩序：絕對搶占如何成為可能？

在離線混部不能僅僅是碰運氣的方案，而是得做到徹徹底底的可控，TencentOS 團隊對 Linux 內(nèi)核進行了增強，形成了可同時實現(xiàn) CPU、網(wǎng)絡(luò)、IO 和內(nèi)存四項資源絕對隔離的體系，其中最關(guān)鍵的創(chuàng)新就是自研的 BT 調(diào)度類。BT 調(diào)度類并非僅僅是對 CFS 做簡單增強，而是新增加了一個獨立于 CFS 的調(diào)度層級，借此實現(xiàn)高優(yōu)任務(wù)的絕對搶占機制！

在 Linux 調(diào)度類的層級里，高優(yōu)任務(wù)通常由 DL 和 RT 調(diào)度類負責，然后就是 CFS。BT 調(diào)度作為新的調(diào)度類，排在 CFS 調(diào)度類后面，調(diào)度鏈路從高到低逐個檢查各類隊列，只要上層隊列有可操作的任務(wù)，下層隊列的全部任務(wù)均需馬上讓出 CPU。這意味著只要 CFS 隊列有任務(wù)需要開啟運行，BT 隊列中的離線任務(wù)將被強制剝奪運行權(quán)，實現(xiàn)毫秒級的絕對搶占效果。依靠 BT 調(diào)度器，只要 GPU 需要 CPU 協(xié)同配合，即可馬上獲得執(zhí)行權(quán)，而不會受到離線任務(wù)的干擾。

同時，BT 調(diào)度器也擁有獨立的 CPU 限額控制能力，可按照任務(wù)水位線動態(tài)限制離線任務(wù)的 CPU 占用，讓 CPU 一直處于既不過度利用也不被閑置浪費的運行區(qū)間。

除了 CPU 調(diào)度，TencentOS 如意還對網(wǎng)絡(luò)、IO 以及內(nèi)存方面加以強化。

在網(wǎng)絡(luò)層，按照優(yōu)先級體系，如意實現(xiàn)了帶寬的快速搶占機制，高優(yōu)先級任務(wù)在帶寬受限有網(wǎng)絡(luò)傳輸要求時，可在一秒內(nèi)迅速拿回帶寬資源，而傳統(tǒng)方案一般得花十幾秒甚至更長時間。這對直播、電商、推理服務(wù)這類對延遲敏感的業(yè)務(wù)十分關(guān)鍵。

在 IO 層，如意把 BFQ 調(diào)度器與動態(tài) writeback 抑制結(jié)合起來，借助實時分析歷史讀寫比例以調(diào)整帶寬分配策略，解決了傳統(tǒng) IO 限速在混合負載情形下適應(yīng)性差的問題。在同步與異步 IO 場景下，此種動態(tài)調(diào)優(yōu)可大幅提升有效帶寬利用率，把帶寬利用率提升 30% 到 90%。同時，高優(yōu)讀寫請求在隊列中可拿到絕對優(yōu)先級，保障離線任務(wù)的寫入不會對在線任務(wù)的讀取產(chǎn)生抖動或延遲堆積。

內(nèi)存層面的強化讓混部變得可預(yù)測并且可控。憑借全局預(yù)留、分級回收以及 pagecache 隔離等方式，如意把高低優(yōu)任務(wù)的內(nèi)存行為徹底分隔開，高優(yōu)任務(wù)不管遇到什么樣的系統(tǒng)壓力，都可在極低延遲下成功得到內(nèi)存，而離線任務(wù)則是按照優(yōu)先級逐級回收，必要時按照優(yōu)先級觸發(fā) OOM 清理。

更核心的是，在如意體系中，CPU、網(wǎng)絡(luò)、IO、內(nèi)存不再是孤立治理，而是通過統(tǒng)一的優(yōu)先級及搶占模型做到協(xié)同運作。當高優(yōu)任務(wù)被喚醒時，CPU 層的 BT 調(diào)度能在毫秒級中斷離線任務(wù)，網(wǎng)絡(luò)層馬上收回帶寬，IO 層抑制離線數(shù)據(jù)的寫回，防止 IO 出現(xiàn)堵塞，內(nèi)存層保證高優(yōu)任務(wù)的分配請求馬上得以滿足，四者相互作用形成一個完整的資源讓渡循環(huán)圈，使高優(yōu)任務(wù)在多維資源范疇獲得絕對優(yōu)先。依靠這樣的系統(tǒng)機制，如意消除了原本無從控制的混部風險，從而在根本上實現(xiàn)在線任務(wù)零感知、零干擾，并且把離線任務(wù)的資源利用空間壓榨至最大化。

3 生產(chǎn)環(huán)境的驗證：從 15% 到 45% 的資源利用率躍遷

任何創(chuàng)新最終都要接受生產(chǎn)環(huán)境的檢驗。騰訊 TencentOS 如意（RUE）的在離線混部方案覆蓋規(guī)模達 2000 萬核以上，且在大規(guī)模業(yè)務(wù)場景中已實現(xiàn)顯著的資源提升。

在微信業(yè)務(wù)中的某時延敏感模塊里，由于任務(wù)鏈路對 CPU 響應(yīng)時間要求極高，混部前，整機 CPU 利用率被限制在約 15% 的水平，引入如意后，CPU 利用率提升到 45% 左右。不僅如此，業(yè)務(wù)跟單獨運行時相比，請求超時次數(shù)未出現(xiàn)明顯的改變，穩(wěn)定性遠勝于傳統(tǒng)的 cgroup 混部方案。

在外部的客戶案例中，某教育科技界的巨頭企業(yè)依靠如意實現(xiàn)混部能力后，整體成本較之前下降 43%，服務(wù)可用性升至 99.995%，接口響應(yīng)的速度提升了約 10%。某頭部短視頻平臺利用如意混部技術(shù) OS 內(nèi)核所提供的強隔離、性能主動告警、云原生 SLI 等高級能力，資源利用率往上提升了 100%，一年節(jié)省成本達數(shù)百萬！

值得一提的是，除了經(jīng)過大量驗證的通用服務(wù)器實際場景，如意正進一步對新一代智算服務(wù)器開展應(yīng)用拓展，其在智算服務(wù)器的灰度實施也已啟動，且于早期試點階段表現(xiàn)出極高的穩(wěn)定性和安全性。在試點集群里，如意的絕對的搶占機制和跨資源強隔離能力，讓 GPU 集群在保障高優(yōu)任務(wù)不受干擾的基礎(chǔ)上，釋放出大量閑置的 CPU 能力。

4 寫在最后

以往被迫處于閑置狀態(tài)的 CPU 資源，正憑借可靠的操作系統(tǒng)調(diào)度機制被激活。在算力成為基礎(chǔ)設(shè)施的今天，其價值是無限的。隨著 GPU 計算能力的提升，CPU 在訓練路徑中的占比逐漸下降。但這不意味著 CPU 不重要，相反，CPU 對于實時性、同步性任務(wù)的支撐需求反而越來越高。如果缺乏強大的 QoS 調(diào)度機制，將影響異構(gòu)計算系統(tǒng)的穩(wěn)定運行。

TencentOS 如意的創(chuàng)新做到了高優(yōu)任務(wù)的絕對搶占機制，這使混部從不可把控的風險源轉(zhuǎn)變?yōu)榭杉s束起來的基礎(chǔ)能力。統(tǒng)一的 CPU、網(wǎng)絡(luò)、IO、內(nèi)存優(yōu)先級體系為高優(yōu)任務(wù)帶來跨資源的一致保障，由此實現(xiàn)效率提升。同時，這套機制也為 GPU 時代的調(diào)度器提供新的模板。當大模型演進至多模態(tài)、更長序列和更大參數(shù)規(guī)模階段，CPU 閑置的問題將更加突出化，缺乏調(diào)度體系反而會讓 CPU 成為主要瓶頸。因此，如意在離線混部的價值不只是體現(xiàn)在節(jié)省成本上，更在于對算力供給方式進行重構(gòu)，為未來大規(guī)模智算基礎(chǔ)設(shè)施打造可靠的基礎(chǔ)支撐能力。