：“老黃現(xiàn)在真是忙啊，這幾天各種演講不斷，最近一個多月更是穿梭于大陸、美國和臺 灣 之間，還說要在臺 北市新建 Nvidia海外總部。而美國政府剛剛同阿聯(lián)酋和沙特簽下了AI+綠色能源的大單子，未來會在中東建設(shè)規(guī)模龐大的數(shù)據(jù)中心，這普遍被認(rèn)為是要繼續(xù)擠壓中國公司能拿到的 Nvidia顯卡，以及打壓包括華 為在內(nèi)的中國企業(yè)在中東地區(qū)的影響力，進(jìn)一步遏制中國的AI產(chǎn)業(yè)在國際上的競爭力。值此之際，老黃的重要性愈發(fā)凸顯。而從本次訪談其實(shí)可以看出，老黃的心里其實(shí)門兒清：打壓中國，其實(shí)反而幫了中國，還順帶削弱了美國百年來一直倡導(dǎo)的自由競爭的氛圍，更重要的是：減少了英偉達(dá)的利潤”

以下為本次訪談的主題目錄，本篇只包含后三部分，。

1、Arab AI and the Chip Diffusion Rule（阿拉伯AI產(chǎn)業(yè)與芯片擴(kuò)散規(guī)則）

2、Nvidia and China（Nvidia 與中國）

3、AI GDP Growth（AI 驅(qū)動 GDP 增長）

4、Dynamo and Full-Stack Nvidia（Dynamo 與 Nvidia 全棧方案）

5、Enterprise AI and Pragmatism（企業(yè)級AI 與務(wù)實(shí)主義）

6、Whither Gaming（游戲業(yè)務(wù)何去何從）

下篇技術(shù)術(shù)語較多，我把部分英文原文附在后面方便理解。

訪談綜述：本次訪談，首先聚焦于政治層面的新難題，Nvidia上周與沙特阿拉伯、阿聯(lián)酋達(dá)成的合作、對中國 H20 芯片禁售，以及為何美國在芯片管制上的做法會威脅到美國，乃至 Nvidia的長期優(yōu)勢。

老黃還闡述了 AI 將在近期推動 GDP 增長、甚至可能縮小貿(mào)易逆差的理由。

最近老黃有兩場演講，本月的 Computex 主題演講、以及上月 GTC 的演講。兩場演講迥然不同，原因或許在于受眾不同。

今天在臺 灣的聽眾，是本地 OEM、組件廠商及其企業(yè)客戶，而上月則是美國的超大型云服務(wù)商。但關(guān)鍵是要明白，Nvidia 想同時向兩類客戶銷售。

為此，我們討論了為何“Nvidia全棧解決方案full-stack Nvidia solution”能最大化效用，包括 Dynamo如何提升推理性能，以及 Nvidia的軟硬件架構(gòu)為何能讓客戶按需選配。

最后，也是順理成章的，我們談到了游戲業(yè)務(wù)。

（注：由于我已多次精譯Ben Thompson的文章，我將從本次訪談開始，親切地稱呼他為阿笨，也由于他實(shí)在太喜歡用復(fù)雜長難句解釋概念了，有一些直男般的鐵憨憨，不過既然他看透問題直擊本質(zhì)的能力太強(qiáng)，讀透這種刻意的復(fù)雜長難又是十分值得的。）

四、Dynamo 與 Nvidia 全棧

阿笨：咱們聊聊 GTC 大會吧，那是我最愛的一場主題演講，多年來我每一場都追著看。演講里有滿滿的 “黃教授Professor Jensen” 的味道，你解釋了數(shù)據(jù)中心的瓶頸，然后又說為什么Nvidia就是答案。

我把那場演講理解成某種“反ASIC宣言anti-ASIC message”，一方面，你亮出路線圖roadmap，好像在說“你們盡管來追Try to keep up with this”，另一方面，你引入了“延遲-帶寬latency versus bandwidth”的帕累托曲線，說明了正因?yàn)镚PU可編程，同一套 GPU就可以覆蓋整條曲線，而真正會去造ASIC的反而是那些 hyperscalers（超大規(guī)模云服務(wù)商）。

我這樣理解對嗎？

老黃：你的理解沒問題，但我當(dāng)時的主要意圖并不完全如此，我只是想幫大家弄清楚，該怎么建一座新的數(shù)據(jù)中心。問題在于，數(shù)據(jù)中心的能耗就是那點(diǎn)兒：100 兆瓦就是 100 兆瓦，250 兆瓦就是 250 兆瓦。

把數(shù)據(jù)中心當(dāng)成工廠，你的首要任務(wù)就是讓“單位能耗吞吐overall throughput-per-watt”最高，而這吞吐最終體現(xiàn)在了token 輸出，既有“免費(fèi) token”這種低成本輸出，也有用戶愿意付費(fèi)的高質(zhì)量token，比如一月一千美元、甚至一萬美元。

阿笨：你之前還提到“”？（前面老黃說的是：hire a robot for $100,000 a year）

老黃：對，如果讓我雇一名年薪 10 萬美元的 AI agent？我會毫不猶豫。畢竟我們天天雇的真人，成本遠(yuǎn)高于此，要是能用 10 萬美元把一位 50 萬美元年薪的員工“強(qiáng)化amplify”一下，那可太值了。

這座“工廠”產(chǎn)出的 token 質(zhì)量，千差萬別，既要滿足免費(fèi)場景，也得輸出高質(zhì)量內(nèi)容，因此必須覆蓋整條帕累托曲線。若只針對某一種場景設(shè)計芯片或系統(tǒng)，必然閑置浪費(fèi)。

問題是，如何讓同一套系統(tǒng)既能跑“免費(fèi)token”，又能隨時切到高質(zhì)量token 模式？

架構(gòu)一旦切得太碎，負(fù)載workload在不同單元間的遷移，就會困難。所以大家如果仔細(xì)想想就知道了，一臺系統(tǒng)若專攻“高token速率 high token rate”，整體吞吐往往很低low overall throughput，但如果追求極高吞吐，就常常交互性較差low interactivity，單用戶每秒 token不夠 tokens-per-second per user is low。

只沿著X 軸或 Y 軸去做，都比較容易，填滿整塊區(qū)域才難。這正是我們的創(chuàng)新所在，它是多重要素的協(xié)同加成：

• Blackwell 架構(gòu)、FP4 和NVLink 72 的高速互連；

• 對高帶寬內(nèi)存及其容量HBM memory and its capacity 之間的平衡配比；

• 對浮點(diǎn)運(yùn)算能力與顯存容量/帶寬floating-point and the memory capacity and bandwidth之間的平衡配比；

• Dynamo 解耦流生態(tài)（解耦式流式推理服務(wù)生態(tài)與硬件系統(tǒng)disaggregated streaming serving ecosystem, hardware system）

阿笨：我正想聊聊Dynamo，今天發(fā)布會沒提，但我覺得它太有意思了。

老黃：極其重要。

阿笨：給我們展開講講，我記得你稱它為“數(shù)據(jù)中心的操作系統(tǒng)operating system for data centers”。

老黃：核心就是，Transformer 的推理流程分為多個階段，各階段可按用戶需求、具體模型、上下文情境，進(jìn)行差異化處理。于是，我們把大語言模型的計算流程拆分了。

第一階段是pre-fill，就是上下文處理，先想想你接下來會問我什么。

比如來到這里，我會先想想以前和笨笨你聊過什么，比如你是偏好那種深度的、對話式的播客風(fēng)格。這樣一來，當(dāng)我們直接開始深入談?wù)撔袠I(yè)和技術(shù)時，完全不會感到不自在。

阿笨：對，你現(xiàn)在可不是在給晚間新聞錄個十秒快訊什么的。

老黃：沒錯，我知道你能聽懂，所以我不會有對牛彈琴的感覺，所以我們聊這些很自在。

當(dāng)聊天機(jī)器人答復(fù)用戶時，它需要這類上下文記憶，甚至得讀幾份 PDF，這就是pre-fill階段，這個階段對浮點(diǎn)運(yùn)算量的需求極高very floating-point intensive。

接下來是 Decode，這一階段真正負(fù)責(zé)“生成思考”，它要推理即將輸出的內(nèi)容、預(yù)測下一個 token，于是整條思維鏈會產(chǎn)生更多 token，再回寫到上下文中，進(jìn)而觸發(fā)更多 token 的生成。

就這樣一步步推理，可能還要檢索額外資料。當(dāng)代的 AI，尤其對于代理式AI agentic AI、推理式AI reasoning AI而言，decode 階段需要密集的浮點(diǎn)運(yùn)算和極高的帶寬，在任何情形下都是如此，有時需求高得離譜，但未來還會更高。

阿笨：它會波動。

老黃：對，視具體情況而定。

阿笨：decode 階段，不需要高精度浮點(diǎn)運(yùn)算。

老黃：對，如果是 one-shot 推理，而且 KV 緩存已經(jīng)很強(qiáng)，那么對浮點(diǎn)運(yùn)算的需求并不高。

不過，一旦你給模型加載大量上下文，就必須投入更多浮點(diǎn)算力。

Dynamo會把整個推理流程徹底解耦，再把負(fù)載在數(shù)據(jù)中心內(nèi)進(jìn)行智能分配，精細(xì)計量各處理器的工作量，這可不是件簡單的事。

阿笨：這也解釋了你說的，把整座數(shù)據(jù)中心當(dāng)一塊 GPU，Dynamo 就是那個把它當(dāng)單芯片調(diào)度的軟件。

老黃：對，Dynamo 本質(zhì)上就是AI 工廠的操作系統(tǒng)。

阿笨：展望未來，這些“思考模型”“推理模型”的應(yīng)用——你的預(yù)測一向以精準(zhǔn)著稱——你覺得它們主要用于代理式工作流嗎？

缺點(diǎn)是，得等它想完，人們得等待結(jié)果？或許，可以并行跑一堆代理來彌補(bǔ)？

又或者，它們更重要的價值在于：生成訓(xùn)練數(shù)據(jù)？從而提升 one-shot 效果，這可以成為更常見的交互形式？

老黃：這得看成本。

我預(yù)測推理模型會成為默認(rèn)基準(zhǔn)baseline，因?yàn)樘幚硭俣葧斓皿@人。比如，啟用 Grace-Blackwell 后，速度能提升 40 倍，再往下一代，再快 40 倍，而模型本身也在不斷進(jìn)化。

所以，從現(xiàn)在算起五年內(nèi)，代理式模型agentic models整體提速10 萬倍，在我看來完全合理。

阿笨：這就是計算性能的發(fā)展歷史the history of computing。

老黃：沒錯，它剛剛思考了“山一樣多的內(nèi)容”，只是你沒看到罷了，如今，連“慢思考”都快極了even slow thinking is fast。

阿笨：那本書，《思考，快與慢》……若讓AI來讀，它一秒就能讀完，書名可要被“打臉”了。

老黃：哈哈，的確如此。

五、企業(yè)級 AI 與務(wù)實(shí)主義

阿笨：回到政治話題，簡單提一下。

你談到每瓦性能（performance-per-watt）時，是否這更多是美國中心的思維？在美國，我們很難新建電力設(shè)施，電力成了最大瓶頸，但是比如像海灣國家，能源更加容易獲取，電力也更容易建設(shè)。

而在中國，如果電力不是最大限制因素，那么很多 Nvidia 解決的問題，其實(shí)都能被解決。是不是這也是為什么 GTC 會選擇在美國舉辦的原因之一？這是不是傳遞給美國的一個信息？

老黃：哦，我沒這么想過。我認(rèn)為不管怎么說，工廠的規(guī)�？偸怯邢薜�。即使你所在的國家有更多能源，但你的數(shù)據(jù)中心并不一定有。因此，我認(rèn)為“每瓦性能”始終很重要。

阿笨：這始終很重要，但重要性可能會有所不同。

老黃：對，沒錯。但問題在于，如果你一開始就知道自己選的架構(gòu)只有別人一半的性能，你也許會說，那我就多買一倍土地，多拉一倍電力，從頭按兩倍規(guī)模建。

可真把所有因素加在一起，問題就來了。打個比方，給1 GW(a gigawatt)機(jī)房配套的話，簡單估算，光是機(jī)房外殼、供電、土地、運(yùn)維等基礎(chǔ)設(shè)施，就要 300 億美元；再加上計算、網(wǎng)絡(luò)、存儲，可能得500 億美元。

現(xiàn)在，因?yàn)樾艿拖拢愕媒▋勺瑯拥臋C(jī)房，光那300 億就得翻倍變 600 億，這時你就得找到“極其便宜的計算資源”，才能把賬算平。所以在 AI 工廠的世界里我常說，如果某套架構(gòu)性能不行，有時即便“免費(fèi)”，也不夠便宜。

阿笨：但 如果是唯一的選擇，你就會努力讓它發(fā)揮作用。

老黃：對，沒錯。

阿笨：那我們來對比一下當(dāng)下的情況。

你今天說過幾次，“如果你買我所有東西我很開心，但我也很高興你買我任何東西”。之前我沒完全明白，直到現(xiàn)在我才意識到，這聽起來像是一場企業(yè)級的主題演講，當(dāng)然這是我自己的理解，不是你的說法，我感覺到了務(wù)實(shí)主義，你現(xiàn)在聽起來像是個企業(yè)軟件公司的 CEO，非常務(wù)實(shí)。

在你的話語體系里，如果客戶要建一座完整的 AI 工廠，全用 Nvidia 當(dāng)然最好，但很多客戶只會買其中一部分。對這些客戶來說，也許你希望他們?nèi)I，但只要買了哪怕一點(diǎn)，未來大概率也會一直跟你買。

所以，從戰(zhàn)略上看，他們也是很重要的基本盤，對嗎？

老黃：滿足客戶需求，本來就是聰明做法。如果你看 Nvidia 的市場策略，我們一直是以完全集成的方式構(gòu)建產(chǎn)品，軟件必須與硬件緊密結(jié)合。

但我們也有足夠的紀(jì)律性，可以將軟件與硬件解耦，你可以選擇不使用我們的軟件，你完全可以選擇不使用。如果你看我們設(shè)計系統(tǒng)的方式，我們實(shí)際上已經(jīng)以一種足夠有紀(jì)律的方式解耦了系統(tǒng)，所以如果你想更換某些部分，也是可以的。

目前，Grace Blackwell 在全球不同的云平臺中，都在被集成和部署，所有這些平臺基于我們的標(biāo)準(zhǔn)，雖然它們各有不同，但我們能適應(yīng)它們。

我認(rèn)為這就是 Nvidia 商業(yè)模式的真正挑戰(zhàn)，它與我們想要成為計算平臺公司（computing platform company）的目標(biāo)，是相輔相成的。最重要的是，如果 Nvidia 的棧（計算棧compute stack）被采用，那當(dāng)然太好了。但如果我的網(wǎng)絡(luò)棧networking stack被采用，我同樣非常高興。

事實(shí)上我對我們網(wǎng)絡(luò)棧的看法，與對計算棧的看法一樣強(qiáng)烈。如果這兩個棧都被采用，那簡直是不可思議。

阿笨：好吧，很多人提到你們的 NVLink Fusion，你可以只買 NVLink，也可以與 ASIC 集成，這與我理解的 GTC 信息正好相反，但我理解了你此刻的立場。

畢竟，誰是客戶誰說了算？

老黃：我依然深信，Nvidia 正在構(gòu)建一個更好的系統(tǒng)，我完全相信這一點(diǎn)。如果我不相信這一點(diǎn)，那顯然我們做錯了什么事，得趕緊找出原因并糾正。

所以我完全相信，Nvidia 是全球最大規(guī)模的加速計算公司，我們是全球最大規(guī)模的 AI 計算公司。沒有哪家 36000 到 38000 人的公司，能像我們一樣專注于這一件事。

如果有一個 14 人的小團(tuán)隊，能夠做得比我們更好，那我得承認(rèn)，我的內(nèi)心一定很痛苦，所以我們會繼續(xù)努力做得更好。

阿笨：然而，你也相信規(guī)模，而獲得規(guī)模的一種好方法，就是根據(jù)客戶需求去銷售產(chǎn)品，無論客戶想要什么方式。

老黃：對，完全正確，確實(shí)如此。我有我的偏好，但我們想確保我們能夠按照客戶的需求去服務(wù)每個客戶。

六、游戲何去何從

阿笨：接著這個話題聊下去，也許是相關(guān)的。

我問了我一個朋友，他的兒子堅持讓我問這個問題。有些游戲圈的人認(rèn)為，雖然你今天的主題演講中只有10%講的是 GeForce，但對我們依然很重要。

是不是還可以認(rèn)為，GeForce對我們依然重要，因?yàn)檫@是一切的基礎(chǔ)，我們做的還是 GPU？或者，我應(yīng)該怎么告訴我朋友的兒子，關(guān)于 Nvidia和游戲的事？

老黃：你看，我真希望我說過——沒有 GeForce，RTX PRO 做不出來，沒有 GeForce，就沒有 Omniverse，任何我們看到的視頻里的像素都離不開 GeForce，機(jī)器人也做不出來，沒有 GeForce，Newton 也無法實(shí)現(xiàn)。

所以，GeForce 本身在 GTC 上不那么突出，是因?yàn)?GTC 更側(cè)重高性能計算、企業(yè)級應(yīng)用和 AI 等領(lǐng)域。

我們?yōu)橛螒蜷_發(fā)者舉辦了單獨(dú)的大會，所以每次在 GTC 演講時，我總覺得有些產(chǎn)品發(fā)布并不那么核心，雖然在 GTC 的聽眾群體中，可能不完全適合，但他們也明白，GeForce在我們做的一切工作中扮演著至關(guān)重要的角色。

阿笨：是不是有些游戲玩家，至今還沒有完全意識到，GeForce 現(xiàn)在遠(yuǎn)遠(yuǎn)不止是圖形渲染引擎這么簡單？

老黃：（笑）對，沒錯。正如我今天說的，我們只渲染 1/10 的像素，這個數(shù)字非常令人震驚。假設(shè)我給你一個拼圖，只給你 1/10 的拼塊，其他的拼塊我根本不給你，你必須自己把它拼出來。

阿笨：我有個新角度，可以將游戲與其他業(yè)務(wù)聯(lián)系起來。你剛才說過，你很有紀(jì)律性地保持各個領(lǐng)域的分離，且能夠?qū)⑺鼈兎珠_管理，軟件也能處理好這些。

這聽起來有點(diǎn)像 Windows 上的驅(qū)動問題，老實(shí)說，這就是你們的一項(xiàng)核心技能。

老黃：是的，驅(qū)動程序太低級了，涉及的內(nèi)容太多，寄存器registers太多，而““驅(qū)動抽象driver abstraction”實(shí)際上是一次革命，微軟在這方面發(fā)揮了重要作用。如果沒有驅(qū)動的概念concept of a driver，Windows 就不會有今天的地位。它創(chuàng)造了一個 API 抽象層abstraction of an API，而在硬件下面可以有較大的變化。

我們現(xiàn)在的驅(qū)動程序是開源的，坦白說，我并沒有看到很多人對此做出貢獻(xiàn)。原因很簡單：一旦我推出了新的 GPU，上一個驅(qū)動的工作幾乎就被拋棄了。

所以，沒有像 Nvidia 這樣龐大的工程師團(tuán)隊，別人很難做這件事。但如果我們?yōu)槊恳豢?GPU 優(yōu)化每個驅(qū)動程序，并與之配套，就能創(chuàng)造出一個完美的隔離層isolation layer，一個抽象層an abstraction layer，無論是 CUDA 還是 DirectX，開發(fā)者都可以在其之上進(jìn)行開發(fā)。

阿笨：這就是我給我朋友兒子的答案，我在前面不得不問你關(guān)于政府的事，你也為你的觀點(diǎn)提供了很好的、充滿熱情的辯護(hù)，但當(dāng)我問到關(guān)于游戲驅(qū)動的問題時，你的眼睛真的亮了起來。

老黃：哦，真的嗎？

阿笨：所以我覺得一切都很好。

老黃：great，其實(shí)我真的很喜歡 GeForce。

阿笨：這就是面對面交流的好處，老黃，非常感謝你。

（完）

以上就是這次老黃專訪的下篇，，下周會開始更新一個OpeaAI成長編年史的系列，包含公司架構(gòu)、商業(yè)模式、估值和財務(wù)數(shù)據(jù)，還有超干的技術(shù)細(xì)節(jié)，需要三篇文章才能更完，歡迎關(guān)注本號。