編輯｜Panda、澤南

大模型的競爭如火如荼，也有一群人正在研究如何降低門檻，讓 AI 工具變得親民。

最近，在 AI 基礎(chǔ)算力上重磅頻出的華為，又亮出了一張王牌：昇騰的底層基礎(chǔ)軟件，CANN 全面開源開放

昇騰宣布將通過一系列新舉措，持續(xù)支持開發(fā)者在 AI 模型、算子、內(nèi)核、底層資源等多個(gè)層級進(jìn)行自主優(yōu)化與自定義開發(fā)。通過開放共建，一個(gè)新興的 AI 算力生態(tài)正在快速崛起，改變計(jì)算架構(gòu)領(lǐng)域本已固化的格局。

CANN 全稱為「神經(jīng)網(wǎng)絡(luò)異構(gòu)計(jì)算架構(gòu)」（Compute Architecture for Neural Networks），其作為連接上層 AI 訓(xùn)練框架（如 PyTorch、TensorFlow、MindSpore 等）和底層 AI 芯片的橋梁，讓開發(fā)者不用關(guān)心芯片細(xì)節(jié)就能調(diào)用底層算力。

最近一段時(shí)間，業(yè)內(nèi)對于國產(chǎn) AI 算力的需求大幅增長，讓人們更加重視起硬件的計(jì)算架構(gòu)。CANN 的開源開放引發(fā)了業(yè)界的廣泛關(guān)注，當(dāng) CANN 這個(gè)在整個(gè) AI 技術(shù)棧中「承上啟下」的關(guān)鍵角色被開源了之后，開發(fā)者們獲得了定義算力的權(quán)力。

以前在 AI 芯片上的算子開發(fā)門檻高到不敢用，現(xiàn)在昇騰 CANN 把這層窗戶紙捅破了。

這一次，我們不談宏大的生態(tài)格局，只談對于坐在屏幕前的開發(fā)者來說，CANN 的開源開放到底帶來了什么？

拒絕「黑盒」

三種路徑實(shí)現(xiàn)「AI 算子開發(fā)自由」

在 AI 開發(fā)的深水區(qū)，算子開發(fā)效率與性能的平衡始終是個(gè)難題。但「AI 算子開發(fā)自由」首先建立在廣泛的生態(tài)兼容之上。

CANN 目前已經(jīng)支持與 PyTorch、TensorFlow、MindSpore、PaddlePaddle 等主流 AI 框架無縫對接，并開放了 GE 圖開發(fā)接口，允許開發(fā)者自定義圖結(jié)構(gòu)，滿足了多樣化的開發(fā)需求。

大模型方面，CANN 覆蓋了國內(nèi)外目前的主流，支持包括 Llama、Mistral、Phi 等海外模型，以及 Qwen、DeepSeek、GLM 等國產(chǎn)大模型家族，共計(jì)超過 50 種。昇騰已經(jīng)參與了超過 10 個(gè)大模型開源社區(qū)的上下游生態(tài)構(gòu)建。

在此基礎(chǔ)上，針對更深層的算子開發(fā)挑戰(zhàn)，開源開放后的 CANN 為不同技術(shù)背景的開發(fā)者提供了三條路徑。

路徑一：習(xí)慣 Python？Triton 生態(tài)無縫接入

對于習(xí)慣了 GPU 編程范式的開發(fā)者，最大的顧慮往往是遷移成本。CANN 對此給出的答案是：不用改變習(xí)慣

CANN 實(shí)現(xiàn)了與業(yè)界主流開發(fā)范式 Triton 的深度對接。通過 Linalg IR 與 AscendNPU IR（中間表示）的轉(zhuǎn)換，開發(fā)者可以直接使用熟悉的 Python 語法編寫高性能算子，原有的 Triton 代碼能夠以極低的成本遷移到昇騰 NPU 上。

此外，CANN 還引入了TileLang這一新興編程選擇。它提供了比 Triton 更細(xì)粒度的性能控制能力，允許開發(fā)者顯式管理數(shù)據(jù)分塊和內(nèi)存層級映射。通過 TileLang-Ascend 的深度適配，開發(fā)者可以利用類 Python 語法，精準(zhǔn)操控 NPU 的 Cube 核與 Vector 核，有效解決現(xiàn)代 AI 芯片面臨的「內(nèi)存墻」挑戰(zhàn)。

路徑二：追求極致？Ascend C 讓性能「狂飆」

對于追求 SOTA 性能的系統(tǒng)級程序員，Ascend C是昇騰原生提供的終極武器。

這是一種采用 C/C++ 語法風(fēng)格的編程語言，它開放了算子底層資源管理接口。這意味著開發(fā)者不再受限于封裝好的 API，而是可以直接調(diào)用 NPU 的原子級能力，精確控制每一個(gè)時(shí)鐘周期的行為和片上緩存管理。無論是 FlashAttention 還是復(fù)雜的 MoE 融合算子，Ascend C 都能讓開發(fā)者榨干硬件的每一滴性能。

路徑三：想要省力？搭積木式的模板庫

并非所有場景都需要從零手寫算子。針對深度學(xué)習(xí)中無處不在的矩陣運(yùn)算（GEMM），CANN 推出了CATLASS 算子模板庫

這是一個(gè)基于 Ascend C 構(gòu)建的高性能算子模版庫，它將復(fù)雜的矩陣乘法及其融合算子抽象為可配置的模板。開發(fā)者無需重新編寫復(fù)雜的切分（Tiling）和流水線（Pipeline）邏輯，只需簡單的參數(shù)配置，即可快速生成適配不同形狀和精度的矩陣乘算子。

在當(dāng)前主流的 MoE（混合專家）模型支持上，CANN 還推出了創(chuàng)新的 MLAPO 融合算子。這種設(shè)計(jì)將原本需要多個(gè)算子完成的 MoE 計(jì)算，融合為單個(gè)高效算子。測試數(shù)據(jù)顯示，MLAPO 融合算子能夠顯著降低計(jì)算開銷，相比傳統(tǒng)實(shí)現(xiàn)方式，在相同硬件上獲得明顯的性能提升。

在大參數(shù) DeepSeekV3 模型的量化場景下，MLAPO 算子的實(shí)現(xiàn)能將計(jì)算耗時(shí)從 109us 縮減為 45us，帶來整網(wǎng)性能提升 20%。

這不是畫餅，而是已經(jīng)有開源代碼、有倉庫的實(shí)質(zhì)性進(jìn)展。

為了方便開發(fā)者快速上手，CANN 已在 AtomGit 上開放了包括 CATLASS（算子模板庫）、ops-math（基礎(chǔ)數(shù)學(xué)）、ops-nn（神經(jīng)網(wǎng)絡(luò)）、ops-transformer（transformer 類大模型）、ops-cv（圖像處理、目標(biāo)檢測）、HCCL（通信庫）在內(nèi)的多個(gè)核心倉庫，并發(fā)布了集成主流大模型環(huán)境的官方容器鏡像，開發(fā)者可以通過容器指令直接獲取開箱即用的開發(fā)環(huán)境。（https://gitcode.com/cann）

目前，CANN 已預(yù)置了超過 1400 個(gè)基礎(chǔ)算子、100 多個(gè)融合算子以及 15 個(gè)通信算法，為大模型開發(fā)提供了「開箱即用」的能力。這些算子經(jīng)過深度優(yōu)化和實(shí)際生產(chǎn)過程的驗(yàn)證，能夠充分發(fā)揮昇騰硬件的性能潛力，是吸引開發(fā)者和企業(yè)客戶從「試一試」轉(zhuǎn)向「深度用」的硬通貨。

這種對底層細(xì)節(jié)的「可控性」，使 CANN 能夠成為追求 SOTA 性能的系統(tǒng)程序員的有力武器。

架構(gòu)變革：分層解耦

為什么現(xiàn)在的 CANN 能做到如此靈活？核心在于架構(gòu)上的分層解耦

CANN 的多層架構(gòu)示意圖，其中不同的層級有不同的開源策略。

何為分層解耦？其實(shí)并不難理解。在過去的 AI 軟件棧中，工具鏈、運(yùn)行時(shí)、驅(qū)動(dòng)、編程體系、加速庫等往往被打造成一個(gè)整體。這種模式雖也有優(yōu)勢，但對于追求極致性能的頭部模型廠商和底層系統(tǒng)工程師來說，卻顯得笨重。

而 CANN 卻做到了在宏觀架構(gòu)上的功能解耦與組件獨(dú)立演進(jìn)。

具體來說，CANN 不再是一個(gè)巨大的單體軟件，而是被拆解為多個(gè)功能正交的組件。分層解耦的思路貫穿了全棧：從底層的硬件驅(qū)動(dòng)到中間的運(yùn)行時(shí)，再到上層的編譯器和加速庫，每一層都實(shí)現(xiàn)了物理上的松耦合。

這意味著開發(fā)者無需像過去那樣「牽一發(fā)而動(dòng)全身」，而是可以根據(jù)業(yè)務(wù)需求，按需引入或升級特定的組件功能，大幅降低了系統(tǒng)集成和定制開發(fā)的門檻。

這種解耦可為 CANN 各個(gè)層級帶來重要的變化：

加速庫的「組件化」

CANN 改變了過去「全量算子一個(gè)包」的發(fā)布方式。算子庫被精細(xì)拆分為 ops-math、ops-nn、ops-cv 和 ops-transformer 等獨(dú)立組件。

通信庫和圖引擎（GE）也作為獨(dú)立組件逐步開放。其中 HCCL 開放了通信算子和框架層，支持開發(fā)者自定義通信算法以適應(yīng)大規(guī)模集群；GE 則開放了圖編譯和執(zhí)行接口，支持自定義圖融合策略。

運(yùn)行時(shí)的「極簡化」

Runtime 層剝離了冗余模塊，實(shí)現(xiàn)了核心功能的最小化。更為關(guān)鍵的是，Runtime 開放了 aclGraph 接口，支持圖模式下沉。

這一機(jī)制允許開發(fā)者將由多個(gè)算子組成的計(jì)算圖一次性下沉到 Device 側(cè)，極大地減少了 Host 與 Device 之間的交互開銷。

在架構(gòu)分層解耦之后，CANN 實(shí)現(xiàn)了組件功能的最小化，共有 20 余個(gè)安裝包，支持各功能的獨(dú)立演進(jìn)和編譯升級。

這樣一來，開發(fā)者可以在模型、算子、內(nèi)核、底層資源等多個(gè)層級分別進(jìn)行優(yōu)化與開發(fā)。可以說開源后的 CANN，在追求極致性能的同時(shí)，兼顧了開發(fā)的易用性。

全面開源開放

正在陸續(xù)進(jìn)行中

對于開源世界來說，真正的技術(shù)價(jià)值會(huì)在自由流動(dòng)中無限放大。CANN 的開源正是遵循同一邏輯：它不僅僅是為了「替代」，更是發(fā)出了一份共同構(gòu)建「算力多元世界」的邀請函。開發(fā)者的每一次使用，問題的反饋和代碼的提交，都會(huì)為這個(gè)新的生態(tài)做出貢獻(xiàn)。

當(dāng) CANN 開源社區(qū)的代碼倉庫逐漸被開發(fā)者 fork 和 star，大學(xué)實(shí)驗(yàn)室的研究者們開始用 Ascend C 完成 AI 項(xiàng)目，當(dāng)硅基流動(dòng)、無問芯穹等創(chuàng)業(yè)公司基于 CANN 優(yōu)化自己的模型訓(xùn)練流程，一個(gè)不同于 CUDA 路徑的 AI 算力生態(tài)正在快速成長。

基于昇騰 CANN，無論你是想驗(yàn)證一個(gè)想法，還是遷移一個(gè)模型，現(xiàn)在都可以快速開始。

目前，CANN 的全面開源開放正在加速推進(jìn)，其在 AtomGit 的代碼庫也非常活躍，幾乎每天都有新的動(dòng)態(tài)。

截至目前，CANN 項(xiàng)目下已有 27 個(gè)子項(xiàng)目，總 star 數(shù)已經(jīng)超過 3700，總下載量更是已經(jīng)突破 35 萬。

更值得期待的是，開源的版圖還在持續(xù)擴(kuò)大。比如用于負(fù)責(zé) AI 計(jì)算圖的解析、優(yōu)化和執(zhí)行的 GE （Graph Engine，也是 CANN 的核心組件之一）以及一種旨在簡化高性能算子的開發(fā)流程的新型編程范式 PyPTO（Python Parallel Tensor Operation）框架。

想體驗(yàn)最新的 CANN 開源開放能力？

• 主頁地址：https://www.hiascend.com/cann
• 開源項(xiàng)目：https://gitcode.com/cann