“矩陣乘法是英偉達 CUDA 生態(tài)最核心的護城河之一。而我們打造的 CUDA-L2 在大規(guī)模、系統(tǒng)性的評測中，超越英偉達針對該核心算子的閉源優(yōu)化方案。我們不僅實現(xiàn)了超越，而且將方法開源，這對于打破技術(shù)壁壘具有標(biāo)志性意義。”DeepReinforce 公司工程師蘇松喬告訴 DeepTech。

近日，蘇松喬和合作者打造出一款名為 CUDA-L2 的智能系統(tǒng)，通過結(jié)合 AI 模型和強化學(xué)習(xí)，成功造出能以極高速度在 GPU 上運行的矩陣乘法核心程序。CUDA-L2 能夠自動搜索成千上萬種可能的程序編寫方式，以實際運行速度作為獎勵，引導(dǎo) AI 找到最優(yōu)解。

在 A100 這款高性能 GPU 上，它生成的程序比當(dāng)今業(yè)界最優(yōu)秀的官方庫比如英偉達的 cuBLAS 還要快上 19%，在模擬真實服務(wù)器環(huán)境的測試中，速度優(yōu)勢更是擴大到 26%。這意味著未來的 AI 應(yīng)用，從實時對話到復(fù)雜科學(xué)計算，都可能因此變得更快和更高效。

蘇松喬表示：“這項成果的應(yīng)用前景非常直接。大模型超過一半的 GPU 計算時間都花在矩陣乘法上。因此，矩陣乘法算子的性能提升，將直接、成比例地提升大模型的整體運行效率。理論上，若矩陣乘法速度提升 10%，大模型的效率可提升約 5%?！?/p>

他和合作者曾用 ChatGPT 粗略估算，矩陣乘法 10% 的性能提升，可能為全球 GDP 帶來約 4,400 億美元的增長，相當(dāng)于全球 GDP 的 0.4%。雖然這只是估算，但足以說明其底層基礎(chǔ)性技術(shù)帶來的巨大經(jīng)濟影響力。實際應(yīng)用上，只需將現(xiàn)有大模型框架中的矩陣乘法計算替換為我們更快的實現(xiàn)即可。

（來源：https://arxiv.org/abs/2512.02551）

在 GPU 上高效執(zhí)行矩陣乘法到底有多難？

矩陣乘法是 AI 模型中最基礎(chǔ)、最耗時的計算操作之一。過去，優(yōu)化這類計算程序是頂級工程師的專屬領(lǐng)域，需要針對不同的問題規(guī)模和不同硬件進行極其復(fù)雜且耗時的調(diào)整。

我們可以把矩陣乘法想象為一個排列整齊的 Excel 表格。矩陣乘法就是一種特殊的規(guī)則，用于將兩個這樣的表格合并從而生成一個全新的表格。這個操作在 AI 領(lǐng)域幾乎無處不在，幾乎是所有智能計算的基石。無論是讓 AI 生成一幅畫還是理解一句話，亦或是推薦一個視頻，背后都有海量的矩陣乘法在默默工作。

然而，在 GPU 上高效執(zhí)行這個矩陣乘法非常困難。GPU 就像一臺擁有成千上萬個小型計算核心的超級引擎，如何把計算任務(wù)合理分給這些核心，如何讓數(shù)據(jù)在高速但是容量有限的記憶單元之間流暢移動，都需要精秒的設(shè)計，同時不同大小的表格需要完全不同的優(yōu)化策略。

（來源：https://arxiv.org/abs/2512.02551）

當(dāng) AI 遇見強化學(xué)習(xí)

傳統(tǒng)上，設(shè)計這些高速計算程序也就是內(nèi)核，是人類工程師所要面臨的艱巨任務(wù)之一。但是本次 CUDA-L2 系統(tǒng)引入了一個全新的設(shè)計師：即一個經(jīng)過海量代碼訓(xùn)練的大模型。這個模型從一開始就懂得很多編程知識，可謂非常的博學(xué)。

但是，光有博學(xué)還不夠，關(guān)鍵是要學(xué)會優(yōu)化。CUDA-L2 采用了強化學(xué)習(xí)的方法來開展訓(xùn)練。強化學(xué)習(xí)不會告訴模型每一步具體怎么走，而是設(shè)置一個目標(biāo)讓模型去嘗試各種動作。

當(dāng)它做出一個動作導(dǎo)致分數(shù)增加時，它就得到了獎勵，從而知道這個動作是好的；反之，分數(shù)減少則是一種懲罰。通過多次的嘗試，模型就能自己摸索出來通關(guān)的最佳策略。

CUDA-L2 的訓(xùn)練過程也是如此。模型嘗試生成不同的計算程序，系統(tǒng)會實際地運行它們，并使用運行速度作為獎勵分數(shù)。同時，程序如果出錯或者寫得太冗長也會被扣分。就這樣，在數(shù)百萬次的嘗試和學(xué)習(xí)中國，模型逐漸掌握了編寫超高速矩陣乘法程序的秘籍。它甚至能夠參考詳細的硬件性能報告，從內(nèi)存吞吐量、計算單元利用率等數(shù)據(jù)中學(xué)習(xí)如何調(diào)整程序。

（來源：https://arxiv.org/abs/2512.02551）

談及這一成果的后續(xù)計劃，蘇松喬說道：“目前，這篇論文尚未正式投稿，我們更關(guān)注于在 GitHub 上持續(xù)開源和更新代碼，推動工業(yè)界的實際應(yīng)用。我個人已工作多年，此前長期在 Meta（原 Facebook）從事與 AI 基礎(chǔ)設(shè)施、網(wǎng)絡(luò)、數(shù)據(jù)庫和推理優(yōu)化相關(guān)的系統(tǒng)研發(fā)工作，目前處于創(chuàng)業(yè)階段?！?/p>

參考資料：

相關(guān)論文 https://arxiv.org/abs/2512.02551

Github 鏈接：https://github.com/deepreinforce-ai/CUDA-L2

運營/排版：何晨龍