大模型靠盲目?jī)r(jià)格戰(zhàn)和粗放燃燒算力的時(shí)代已經(jīng)結(jié)束，真正的出路不再是“更便宜的 Token”，而是“更精細(xì)的工程架構(gòu)”。市場(chǎng)正在倒逼工程進(jìn)步，迫使技術(shù)開(kāi)發(fā)者從算力的“消耗者”轉(zhuǎn)變?yōu)樗懔Φ摹皦赫フ摺薄?/p>

責(zé)編 | 夢(mèng)依丹

出品 | CSDN（ID：CSDNnews）

「算力」正撕裂著 AI 行業(yè)的幻夢(mèng)。

即便強(qiáng)如 OpenAI，Sam Altman 也不得不坦言，之所以關(guān)停 Sora 這樣的現(xiàn)象級(jí)產(chǎn)品，核心原因在于算力資源極度緊缺，無(wú)法支撐非最高優(yōu)先級(jí)產(chǎn)品的消耗。

還有一件事，那就是算力緊缺正倒逼工程方案走向極端。近日的 Claude Code 源碼泄露揭開(kāi)了一個(gè)尷尬的內(nèi)幕：為了解決復(fù)合命令安全分析帶來(lái)的 UI 卡頓和性能開(kāi)銷(xiāo)，工程師將安全審查上限設(shè)為 50 條，導(dǎo)致超過(guò) 50 條命令后會(huì)靜默繞過(guò)拒絕規(guī)則，留下了致命的高危漏洞。這種“為省性能犧牲安全”的工程妥協(xié)，折射出大模型公司在算力成本與工程效能之間的劇烈掙扎。

為了深入拆解工業(yè)級(jí)大模型的推理優(yōu)化路徑，由 CSDN與奇點(diǎn)智能研究院聯(lián)合舉辦大「2026 奇點(diǎn)智能技術(shù)大會(huì)」將于 4 月 17-18 日在上海召開(kāi)，來(lái)自昆侖芯推理框架架構(gòu)師馬陽(yáng)將受邀出席，并帶來(lái)題為《昆侖芯大規(guī)模 LLM 推理優(yōu)化：在文心一言上的實(shí)踐》的主題分享。

揭秘全棧優(yōu)化：如何實(shí)現(xiàn) ITPS 和 OTPS 的雙突破？

在文心一言這種億級(jí)流量、高并發(fā)的生產(chǎn)環(huán)境中，任何微小的架構(gòu)抖動(dòng)都可能影響千萬(wàn)用戶的體驗(yàn)。

在本次演講中，馬陽(yáng)將系統(tǒng)性揭秘昆侖芯在文心一言落地過(guò)程中的硬核技術(shù)路線。這不僅是關(guān)于算力的博弈，更是一場(chǎng)精密的軟件工程：

PD 分離與“層級(jí)式”傳輸： 針對(duì) Prefill 和 Decode 階段對(duì)資源需求的錯(cuò)位，馬陽(yáng)老師將分享如何通過(guò) PD 分離部署突破單機(jī)性能瓶頸。他將詳細(xì)解析如何利用 layer-wise 方式掩蓋 KV Cache 傳輸耗時(shí)，讓集群在處理超大規(guī)模請(qǐng)求時(shí)依然保持強(qiáng)韌性。

投機(jī)解碼的“倍速”魔法： 面對(duì) Decode 階段的訪存瓶頸，昆侖芯通過(guò) Speculative Decoding 技術(shù)，在不顯著損失生成質(zhì)量的前提下，實(shí)現(xiàn)了生成速度的飛躍。在特定配置下，其 Normalized Performance 可提升至 2.81 倍，這對(duì)于追求極致交互體驗(yàn)的應(yīng)用來(lái)說(shuō)是巨大的紅利。

量化創(chuàng)新的“降維打擊”： 開(kāi)發(fā)者常受困于 KV Cache 的顯存占用與計(jì)算開(kāi)銷(xiāo)。馬陽(yáng)老師將分享一個(gè)極具啟發(fā)性的創(chuàng)新解法：將 KV Cache 反量化等價(jià)轉(zhuǎn)換為對(duì) Attention 輸入輸出的縮放。這一改動(dòng)直接將時(shí)間復(fù)雜度從 O(n) 降為 O(1)，徹底消除了計(jì)算量對(duì)序列長(zhǎng)度的依賴。

空泡消除與 CUDA Graph 實(shí)戰(zhàn)： 針對(duì)小 Batch 場(chǎng)景下內(nèi)核啟動(dòng)開(kāi)銷(xiāo)大的痛點(diǎn)，昆侖芯利用 CUDA Graph 捕獲計(jì)算圖重復(fù)執(zhí)行。實(shí)戰(zhàn)數(shù)據(jù)表明，在 Batch=1 時(shí)，OTPS（每秒輸出 Token 數(shù)）提升高達(dá) 61%。此外，通過(guò) H2D/D2H 的異步拷貝優(yōu)化，端到端性能可再獲 4% 的增益。

MoE 并行與“雙流”重疊： 在處理萬(wàn)億級(jí) MoE 模型時(shí)，通信開(kāi)銷(xiāo)往往是吞吐量的殺手。馬陽(yáng)將詳解如何通過(guò) 雙流 Overlap 優(yōu)化，讓計(jì)算與通信高度重疊。在 Prefill 階段，這一策略能帶來(lái)約 20% 的吞吐提升，是長(zhǎng)序列高吞吐場(chǎng)景的破局關(guān)鍵。

通過(guò)這一系列從底層算子到上層架構(gòu)的協(xié)同，昆侖芯交出了一份驚艷的成績(jī)單：不僅實(shí)現(xiàn)了 ITPS 和 OTPS 的雙重飛躍，更在實(shí)際業(yè)務(wù)測(cè)試中，顯著降低了顯存占用與整體部署成本，且精度損失幾乎可以忽略不計(jì)。

對(duì)于每一位在 AI 推理一線奮斗的開(kāi)發(fā)者與架構(gòu)師來(lái)說(shuō)，馬陽(yáng)老師的分享將直接指向落地的“最后一公里”：

? 掌握工業(yè)級(jí)部署方法論：學(xué)習(xí)如何在萬(wàn)億參數(shù)規(guī)模下，平衡顯存、吞吐與延遲三大核心指標(biāo)。

? 獲取極致性能優(yōu)化的 Tips：從算子開(kāi)發(fā)到通信重疊，獲取在真實(shí)業(yè)務(wù)中驗(yàn)證過(guò)的優(yōu)化細(xì)節(jié)。

? 洞察國(guó)產(chǎn)算力生態(tài)實(shí)戰(zhàn)：了解昆侖芯與飛槳開(kāi)源生態(tài)的持續(xù)建設(shè)，預(yù)判下一代推理技術(shù)趨勢(shì)。

從底層算子到規(guī)模化落地的實(shí)戰(zhàn)派

作為昆侖芯推理框架的核心人物，馬陽(yáng)深耕 AI 推理優(yōu)化與國(guó)產(chǎn)芯片適配領(lǐng)域 7 年，專(zhuān)注昆侖芯上的推理軟件研發(fā)、大模型推理適配與性能優(yōu)化，支撐多個(gè)核心推理項(xiàng)目落地。

全程參與昆侖芯 1/2/3 代產(chǎn)品推理方向的軟件研發(fā)工作，完整經(jīng)歷從算子開(kāi)發(fā)、框架搭建到大模型規(guī)模化落地的全流程，具備軟硬件適配、精度性能優(yōu)化、業(yè)務(wù)工程化落地等全鏈路實(shí)戰(zhàn)經(jīng)驗(yàn)，深諳國(guó)產(chǎn)芯片推理落地的核心痛點(diǎn)。

曾主導(dǎo)文心一言系列推理模型在昆侖 2/3 代芯片上的研發(fā)攻堅(jiān)，從零到一完成相關(guān)推理優(yōu)化技術(shù)的落地，實(shí)現(xiàn) TCO 優(yōu)于競(jìng)品，成功支撐了多個(gè)業(yè)務(wù)場(chǎng)景上線，并持續(xù)穩(wěn)定運(yùn)行。

4 月 17-18 日，上?！きh(huán)球港凱悅酒店。

我們誠(chéng)邀您參加「2026 奇點(diǎn)智能技術(shù)大會(huì)」，與馬陽(yáng)及數(shù)十位 AI 技術(shù)領(lǐng)軍者齊聚一堂。在算力即燃料的時(shí)代，學(xué)會(huì)如何用最精密的“發(fā)動(dòng)機(jī)”，帶動(dòng)最宏大的智能遠(yuǎn)景。

目前 2026 奇點(diǎn)智能技術(shù)大會(huì)全日程已上線。

我們將通過(guò) 50+ 場(chǎng)高密度的深度復(fù)盤(pán)，為你繪制一份穿越 AI 周期、駕馭系統(tǒng)工程的實(shí)戰(zhàn)指南。