AI基礎(chǔ)設(shè)施競爭，已經(jīng)不再只是“誰的芯片跑分更高”，而是“誰能把芯片、內(nèi)存、網(wǎng)絡(luò)、軟件、電力和數(shù)據(jù)中心組織成一臺更高效的智能生產(chǎn)機器”。
在摩爾定律邊際放緩之后，半導(dǎo)體產(chǎn)業(yè)的勝負(fù)手，越來越從單芯片設(shè)計，轉(zhuǎn)向系統(tǒng)級協(xié)同設(shè)計；從“賣器件”，轉(zhuǎn)向“賣平臺”；從“訓(xùn)練一次”，轉(zhuǎn)向“長期推理運營”。

一、什么叫“AI基礎(chǔ)設(shè)施”？

AI基礎(chǔ)設(shè)施（AI Infrastructure）
指支撐人工智能訓(xùn)練、后訓(xùn)練、推理和部署的一整套底層系統(tǒng)。它不只是芯片，而是包括：

• 計算芯片（GPU、CPU、ASIC、TPU等）

• 存儲與內(nèi)存（HBM、DDR、SSD等）

• 互連與網(wǎng)絡(luò)（NVLink、InfiniBand、Ethernet、交換機）

• 服務(wù)器與機柜

• 數(shù)據(jù)中心電力與散熱

• 軟件棧（CUDA、編譯器、分布式訓(xùn)練框架）

• 云平臺與調(diào)度系統(tǒng)

一句話理解：
AI基礎(chǔ)設(shè)施不是一顆芯片，而是一座“AI工廠”的全部設(shè)備與管線。

二、計算芯片類術(shù)語 1. GPU

圖形處理器（Graphics Processing Unit）
原本用于圖形渲染，后來因為特別擅長大規(guī)模并行計算，成為AI訓(xùn)練和推理的主力芯片。

通俗解釋：
CPU像一個很聰明的管理者，GPU像一支能同時干很多重復(fù)性工作的超大施工隊。

2. CPU

中央處理器（Central Processing Unit）
負(fù)責(zé)通用計算、操作系統(tǒng)、任務(wù)調(diào)度、控制邏輯。AI系統(tǒng)里，CPU通常不負(fù)責(zé)主要訓(xùn)練計算，但負(fù)責(zé)“指揮”和“協(xié)調(diào)”。

通俗解釋：
CPU像大腦里的“總控中樞”，GPU像真正出力干活的“肌肉群”。

3. ASIC

專用集成電路（Application-Specific Integrated Circuit）
為某種特定任務(wù)專門設(shè)計的芯片，比如AI訓(xùn)練或推理專用芯片。

特點：

• 優(yōu)點：效率高、能耗低、針對性強

• 缺點：通用性弱、生態(tài)難做、開發(fā)成本高

代表：

• Google TPU

• AWS Trainium / Inferentia

• 各類AI加速芯片創(chuàng)業(yè)公司產(chǎn)品

Tensor Processing Unit
Google自研的AI專用加速器，本質(zhì)上是一類針對張量計算優(yōu)化的ASIC。

通俗解釋：
如果GPU是“萬能型重型機械”，TPU更像“為AI大規(guī)模矩陣運算定制的專用生產(chǎn)線設(shè)備”。

5. AI加速器（AI Accelerator）

泛指專門加速AI計算的芯片，范圍比GPU更大，包含GPU、TPU、NPU、部分ASIC等。

6. NPU

神經(jīng)網(wǎng)絡(luò)處理器（Neural Processing Unit）
常用于手機、PC、邊緣設(shè)備中的AI計算單元，也可泛指神經(jīng)網(wǎng)絡(luò)專用處理模塊。

常見場景：

• 手機本地AI

• AI PC

• 攝像頭邊緣識別

• 機器人終端

• 通用芯片：適合更多類型任務(wù)，靈活，比如CPU、GPU

• 專用芯片：專門為某類計算設(shè)計，效率高，比如TPU、Trainium

核心矛盾：
AI時代一直在討論：到底是“通用平臺勝出”，還是“專用芯片分流”。

三、AI計算核心概念 8. 張量（Tensor）

AI模型處理數(shù)據(jù)的基本數(shù)學(xué)形式，可以理解為“多維數(shù)組”。

通俗解釋：
標(biāo)量是一個數(shù)，向量是一列數(shù)，矩陣是一張表，張量就是更高維度的數(shù)據(jù)盒子。

9. 矩陣乘法（Matrix Multiplication）

深度學(xué)習(xí)最核心的計算操作之一。大模型訓(xùn)練的大部分算力都耗在矩陣乘法上。

為什么重要：
誰能更高效地做矩陣乘法，誰就更可能在AI芯片競爭中占優(yōu)勢。

10. FLOPS

每秒浮點運算次數(shù)（Floating Point Operations Per Second）
衡量芯片理論計算能力的指標(biāo)。

常見單位：

• TFLOPS：萬億次

• PFLOPS：千萬億次

• EFLOPS：百億億次

注意：
FLOPS高不等于真實AI性能一定強，因為還要看內(nèi)存、互連、軟件利用率。

11. TOPS

每秒萬億次操作（Tera Operations Per Second）
常用于邊緣AI、推理芯片宣傳，表示整數(shù)或低精度運算能力。

注意：
TOPS常被用于營銷，讀者要看清是何種精度下的TOPS。

12. 吞吐量（Throughput）

單位時間內(nèi)系統(tǒng)完成的任務(wù)量，比如每秒生成多少token、每秒處理多少張圖片。

適合衡量：

• 云端推理效率

• 模型服務(wù)能力

• 數(shù)據(jù)中心產(chǎn)能

從輸入請求到輸出結(jié)果所花的時間。

舉例：

• 問AI一個問題，多久開始回答

• 模型每生成一個token需要多久

AI應(yīng)用里常見矛盾：

• 高吞吐通常追求批量效率

• 低延遲追求用戶體驗
  兩者常常需要平衡

芯片或集群的實際工作效率。
比如一塊GPU理論很強，但如果大部分時間都在等待數(shù)據(jù)，那利用率就不高。

為什么重要：
大模型時代，比拼的不只是芯片峰值性能，而是“真實系統(tǒng)利用率”。

四、精度與數(shù)值格式 15. FP32

32位浮點數(shù)
傳統(tǒng)高精度計算常用格式。

16. FP16

16位浮點數(shù)
比FP32更省內(nèi)存和帶寬，訓(xùn)練中大量使用。

17. BF16

Brain Floating Point 16
一種對深度學(xué)習(xí)更友好的16位格式，訓(xùn)練中非常流行。

為什么重要：
很多大模型訓(xùn)練已經(jīng)從FP32轉(zhuǎn)向BF16/FP16，以提高效率。

18. INT8 / INT4

8位整數(shù) / 4位整數(shù)
多用于推理和量化，可以顯著降低顯存占用和功耗。

通俗解釋：
精度略降一點，換來更便宜、更快、更省電的推理。

19. 量化（Quantization）

把模型參數(shù)從高精度壓縮到低精度，比如FP16變INT8、INT4。

作用：

• 降低顯存需求

• 降低部署成本

• 提升推理吞吐

代價：

• 可能損失部分精度

• 工程實現(xiàn)難度提高

訓(xùn)練過程中混合使用高精度和低精度數(shù)值格式，以兼顧穩(wěn)定性和效率。

五、內(nèi)存與存儲術(shù)語 21. HBM

高帶寬內(nèi)存（High Bandwidth Memory）
AI芯片最關(guān)鍵的配套資源之一。和GPU/AI芯片封裝得很近，帶寬極高。

為什么重要：
今天很多AI系統(tǒng)的瓶頸不只是算力，而是“喂不飽算力”的內(nèi)存帶寬。

一句話：
HBM是AI芯片時代最貴、最緊缺、最關(guān)鍵的資源之一。

22. 顯存（VRAM）

GPU用于存放模型參數(shù)、中間激活值、KV Cache等的數(shù)據(jù)空間。

23. 帶寬（Bandwidth）

單位時間內(nèi)能傳輸多少數(shù)據(jù)。
AI訓(xùn)練和推理都非常依賴高帶寬內(nèi)存和高帶寬網(wǎng)絡(luò)。

24. 容量（Capacity）

能裝下多少數(shù)據(jù)。
在AI里，容量決定模型能不能放進(jìn)去，帶寬決定模型跑得快不快。

25. KV Cache

大語言模型推理時，為了避免重復(fù)計算，會緩存注意力機制中的Key和Value。

為什么重要：

• 長上下文會顯著增加KV Cache開銷

• 這是推理成本上升的重要來源之一

固態(tài)硬盤
用于存儲訓(xùn)練數(shù)據(jù)集、模型權(quán)重、檢查點等。

27. 檢查點（Checkpoint）

訓(xùn)練過程中定期保存的模型狀態(tài)文件。
方便中斷恢復(fù)、繼續(xù)訓(xùn)練或后續(xù)微調(diào)。

六、互連與網(wǎng)絡(luò)術(shù)語 28. NVLink

英偉達(dá)的高速芯片互連技術(shù)，用于GPU和GPU之間高速通信。

為什么重要：
單卡算力再強也不夠，大模型訓(xùn)練必須多卡協(xié)同。NVLink就是讓GPU之間“說話更快”的專用高速通道。

29. NVSwitch

用于把多塊GPU連接成更大高速互聯(lián)域的交換芯片。

通俗解釋：
NVLink像高速公路，NVSwitch像大型立交樞紐。

30. InfiniBand

一種高性能網(wǎng)絡(luò)技術(shù)，常用于AI訓(xùn)練集群和高性能計算集群。

特點：

• 低延遲

• 高帶寬

• 適合大規(guī)模分布式訓(xùn)練

以太網(wǎng)。傳統(tǒng)數(shù)據(jù)中心最常見的網(wǎng)絡(luò)方案。
如今也越來越多被用于AI集群，尤其在大規(guī)模云廠商中。

產(chǎn)業(yè)趨勢：
AI網(wǎng)絡(luò)并不一定都走InfiniBand，越來越多公司在推動高性能以太網(wǎng)AI集群。

32. 交換機（Switch）

負(fù)責(zé)在服務(wù)器、機柜、節(jié)點之間轉(zhuǎn)發(fā)數(shù)據(jù)流量的網(wǎng)絡(luò)設(shè)備。

33. RDMA

遠(yuǎn)程直接內(nèi)存訪問（Remote Direct Memory Access）
讓一臺機器能繞過過多CPU干預(yù)，直接訪問另一臺機器內(nèi)存，提高效率、降低延遲。

34. Scale-Up

指單個系統(tǒng)內(nèi)的擴(kuò)展，比如一臺服務(wù)器里增加更多GPU，并通過NVLink/NVSwitch高速互連。

35. Scale-Out

指跨服務(wù)器、跨機柜擴(kuò)展，通過網(wǎng)絡(luò)把大量節(jié)點組成更大集群。

區(qū)別：

• Scale-Up：做大“單機”

• Scale-Out：做大“整個集群”

網(wǎng)絡(luò)連接結(jié)構(gòu)設(shè)計。
比如GPU之間怎么連、機柜之間怎么連，會直接影響訓(xùn)練效率和成本。

七、訓(xùn)練相關(guān)術(shù)語 37. 預(yù)訓(xùn)練（Pre-training）

用海量數(shù)據(jù)讓模型學(xué)習(xí)語言、圖像、代碼等通用規(guī)律，是大模型能力的基礎(chǔ)階段。

38. 后訓(xùn)練（Post-training）

預(yù)訓(xùn)練之后的對齊、微調(diào)、強化學(xué)習(xí)等過程，用來讓模型更實用、更安全、更符合人類意圖。

39. 微調(diào)（Fine-tuning）

在已有基礎(chǔ)模型上用更小數(shù)據(jù)集繼續(xù)訓(xùn)練，使其適應(yīng)特定任務(wù)。

40. 指令微調(diào)（Instruction Tuning）

讓模型學(xué)會更好地遵循人類指令。

41. 強化學(xué)習(xí)（Reinforcement Learning）

通過獎勵機制優(yōu)化模型行為。
在AI領(lǐng)域，常見于對齊和復(fù)雜推理優(yōu)化。

42. RLHF

基于人類反饋的強化學(xué)習(xí)（Reinforcement Learning from Human Feedback）
通過人工偏好數(shù)據(jù)幫助模型學(xué)會更符合人類喜好的回答方式。

43. 合成數(shù)據(jù)（Synthetic Data）

不是來自真實世界直接采集，而是由模型、程序或規(guī)則生成的數(shù)據(jù)。

為什么重要：
真實高質(zhì)量數(shù)據(jù)越來越稀缺，合成數(shù)據(jù)越來越成為重要補充。

44. 數(shù)據(jù)并行（Data Parallelism）

多張卡同時處理不同批次的數(shù)據(jù)，然后同步參數(shù)。

45. 模型并行（Model Parallelism）

當(dāng)模型太大，一張卡裝不下，就把模型切分到多張卡上運行。

46. 張量并行（Tensor Parallelism）

把某一層中的矩陣計算拆給多張GPU并行完成。

47. 流水線并行（Pipeline Parallelism）

把模型不同層分到不同設(shè)備上，像工廠流水線一樣順序處理。

48. 分布式訓(xùn)練（Distributed Training）

利用大量加速器共同完成模型訓(xùn)練。

核心難點：
不是“卡越多越好”，而是通信、同步、負(fù)載均衡都很復(fù)雜。

49. 梯度同步（Gradient Synchronization）

多卡訓(xùn)練后，需要把各卡算出的梯度同步，才能繼續(xù)一致地更新參數(shù)。

50. 批大小（Batch Size）

一次送入模型訓(xùn)練的數(shù)據(jù)量。
批越大，吞吐可能更高，但訓(xùn)練穩(wěn)定性和顯存壓力也會變化。

八、推理相關(guān)術(shù)語 51. 推理（Inference）

模型訓(xùn)練完成后，真正拿來回答問題、生成圖片、寫代碼的執(zhí)行過程。

一句話：
訓(xùn)練是“學(xué)”，推理是“用”。

52. 在線推理（Online Inference）

面向?qū)崟r請求的推理服務(wù)，比如聊天機器人、搜索問答、實時推薦。

53. 離線推理（Offline Inference）

提前批量處理任務(wù)，不追求實時響應(yīng)，比如文檔批量總結(jié)、廣告排序預(yù)計算。

54. 首token時間（TTFT, Time To First Token）

用戶發(fā)出請求后，模型生成第一個token需要多久。

為什么重要：
這直接影響用戶覺得“這個AI快不快”。

55. 每秒token數(shù)（Tokens per Second）

衡量模型生成速度的重要指標(biāo)。

56. 批處理（Batching）

把多個用戶請求打包一起處理，提高吞吐量。

代價：
可能會增加單個用戶等待時間。

57. 動態(tài)批處理（Dynamic Batching）

系統(tǒng)根據(jù)實時請求自動組合批次，兼顧吞吐與延遲。

58. 服務(wù)化推理（Serving）

把模型包裝成可調(diào)用服務(wù)，供應(yīng)用或用戶訪問。

59. 推理引擎（Inference Engine）

專門優(yōu)化模型部署和推理執(zhí)行的軟件系統(tǒng)。

常見作用：

• 圖優(yōu)化

• 算子融合

• 內(nèi)存管理

• 調(diào)度優(yōu)化

把模型計算圖轉(zhuǎn)換成更適合硬件執(zhí)行的形式，以提升性能。

九、大模型特有術(shù)語 61. Token

模型處理文本時的最小單位，不一定等于“一個字”或“一個單詞”。

62. 上下文窗口（Context Window）

模型一次能處理的輸入長度范圍。

例如：
8K、32K、128K、1M上下文。

意義：
上下文越長，模型一次能“記住”的內(nèi)容越多，但推理成本通常也更高。

63. 參數(shù)量（Parameters）

模型中可學(xué)習(xí)權(quán)重的數(shù)量，比如7B、70B、175B。

注意：
參數(shù)量大不等于一定更強，數(shù)據(jù)、訓(xùn)練方法、后訓(xùn)練和推理系統(tǒng)同樣重要。

64. 稠密模型（Dense Model）

每次推理時，大部分參數(shù)都會參與計算的模型。

65. MoE

混合專家模型（Mixture of Experts）
模型由多個“專家模塊”組成，每次只激活其中一部分。

優(yōu)點：

• 總參數(shù)量可非常大

• 單次計算量不一定同比增長

難點：

• 路由復(fù)雜

• 通信要求高

• 系統(tǒng)調(diào)度更難

MoE中決定某個token交給哪些專家處理的機制。

67. 激活參數(shù)（Active Parameters）

MoE推理時實際參與運算的那部分參數(shù)。

68. 長上下文（Long Context）

模型可以處理超長輸入內(nèi)容的能力。

產(chǎn)業(yè)意義：
長上下文不僅是模型能力問題，也是基礎(chǔ)設(shè)施問題，因為KV Cache和顯存壓力會迅速上升。

69. 思維鏈（Chain of Thought）

模型通過分步驟推理來提升復(fù)雜任務(wù)正確率的方式。

基礎(chǔ)設(shè)施影響：
思維鏈越長，通常意味著推理token更多、延遲更高、成本更高。

70. Test-Time Compute

測試時算力 / 推理時算力
不是在訓(xùn)練時增加計算，而是在回答問題時給模型更多算力、更多步驟、更多搜索機會，以換取更好的答案。

這是AI產(chǎn)業(yè)的重要變化：
未來競爭不只看訓(xùn)練算力，還看推理階段能否高效使用更多算力。

71. Agent / Agentic Systems

讓模型不只是回答問題，而是能調(diào)用工具、分解任務(wù)、執(zhí)行多步流程的系統(tǒng)。

影響：
Agent系統(tǒng)通常帶來：

• 更多token消耗

• 更多輪調(diào)用

• 更復(fù)雜的推理資源管理

• 更高的基礎(chǔ)設(shè)施需求

專門為AI訓(xùn)練或推理設(shè)計的服務(wù)器，通常包含多顆GPU/AI加速器、高帶寬互連和高功率供電。

73. 節(jié)點（Node）

集群中的一臺服務(wù)器。

74. 機柜（Rack）

數(shù)據(jù)中心中安裝服務(wù)器、電源、網(wǎng)絡(luò)設(shè)備的柜體。

75. Pod / Superpod

由大量服務(wù)器和網(wǎng)絡(luò)組成的更大規(guī)模AI集群單元。

76. 集群（Cluster）

由大量計算節(jié)點組成的統(tǒng)一計算系統(tǒng)。

77. AI工廠（AI Factory）

一種強調(diào)“工業(yè)化生產(chǎn)AI”的說法。
它不是學(xué)術(shù)集群，而是持續(xù)把電力、數(shù)據(jù)和計算轉(zhuǎn)化為智能輸出的生產(chǎn)系統(tǒng)。

黃仁勛式表達(dá)里常見含義：

• 數(shù)據(jù)中心不是IT成本中心，而是智能制造工廠

• Token是產(chǎn)品，算力是產(chǎn)線，電力是原材料

部署服務(wù)器、存儲、交換機、電力和冷卻設(shè)施的地方。

79. TDP

熱設(shè)計功耗（Thermal Design Power）
芯片設(shè)計中需要按多大散熱能力去準(zhǔn)備。

80. 功耗墻（Power Wall）

芯片和系統(tǒng)性能提升越來越受制于電力供應(yīng)和散熱能力，而不是晶體管數(shù)量本身。

81. 液冷（Liquid Cooling）

通過液體帶走熱量的散熱技術(shù)，越來越適用于高功率AI服務(wù)器。

82. PUE

電能使用效率（Power Usage Effectiveness）
衡量數(shù)據(jù)中心整體能效的指標(biāo)。

83. 電力容量（Power Capacity）

數(shù)據(jù)中心能夠提供的總供電能力。
AI時代，很多項目卡的不是芯片，而是電力、變壓器和冷卻系統(tǒng)。

十一、軟件生態(tài)術(shù)語 84. CUDA

英偉達(dá)構(gòu)建的GPU計算軟件平臺和編程生態(tài)。

為什么關(guān)鍵：
很多人以為英偉達(dá)強在芯片，其實它更強的是“芯片+互連+軟件生態(tài)”的整個平臺。

85. ROCm

AMD的GPU軟件棧，目標(biāo)是對標(biāo)CUDA。

86. 編譯器（Compiler）

把模型和程序轉(zhuǎn)換成底層硬件可執(zhí)行指令的軟件工具。

87. 驅(qū)動（Driver）

連接操作系統(tǒng)和硬件的底層軟件。

88. 框架（Framework）

開發(fā)和訓(xùn)練模型的軟件框架，如PyTorch、JAX、TensorFlow。

89. 算子（Operator）

模型計算中的基本操作單元，如矩陣乘法、卷積、歸一化等。

90. 內(nèi)核（Kernel）

在GPU等設(shè)備上執(zhí)行某個具體計算任務(wù)的底層程序單元。

91. 軟件棧（Software Stack）

從應(yīng)用到框架、編譯器、驅(qū)動、固件的整套軟件體系。

92. 生態(tài)（Ecosystem）

圍繞某個平臺形成的開發(fā)者、工具鏈、合作伙伴、應(yīng)用適配能力。

產(chǎn)業(yè)結(jié)論：
AI芯片競爭，不是誰芯片先做出來就贏，而是誰先建立“可用生態(tài)”誰更強。

十二、商業(yè)與產(chǎn)業(yè)競爭術(shù)語 93. 超大規(guī)模云廠商（Hyperscaler）

指超大規(guī)模建設(shè)和運營數(shù)據(jù)中心的云公司。

典型代表：

• AWS

• Microsoft Azure

• Google Cloud

• Meta（雖非傳統(tǒng)公有云，但屬于超大規(guī)?；A(chǔ)設(shè)施運營者）

云廠商自己設(shè)計芯片，而不是完全依賴外部供應(yīng)商。

原因：

• 降低成本

• 提高供應(yīng)鏈掌控力

• 針對自家工作負(fù)載優(yōu)化

• 對沖英偉達(dá)議價權(quán)

資本開支（Capital Expenditure）
建設(shè)數(shù)據(jù)中心、購買GPU服務(wù)器、網(wǎng)絡(luò)設(shè)備等的大額前期投入。

96. OPEX

運營開支（Operating Expenditure）
日常運營成本，如電費、維護(hù)費、帶寬費、人力成本等。

97. TCO

總擁有成本（Total Cost of Ownership）
不僅是買芯片多少錢，而是系統(tǒng)全生命周期總成本。

包括：

• 芯片采購

• 網(wǎng)絡(luò)

• 機柜

• 電力

• 冷卻

• 運維

• 軟件遷移成本

• 單芯片思維：只盯著某顆芯片的性能

• 系統(tǒng)級思維：看整機、互連、軟件、網(wǎng)絡(luò)、功耗、利用率和部署效率

AI時代的核心變化：
摩爾定律放緩之后，競爭越來越從“單顆芯片更快”轉(zhuǎn)向“整個系統(tǒng)更優(yōu)”。

99. 系統(tǒng)級協(xié)同設(shè)計（System Co-Design）

芯片、封裝、網(wǎng)絡(luò)、內(nèi)存、軟件、數(shù)據(jù)中心一起協(xié)同優(yōu)化，而不是各自獨立設(shè)計。

一句話：
今天的AI基礎(chǔ)設(shè)施競爭，本質(zhì)上越來越像“整個平臺工程競爭”。

100. 平臺型公司（Platform Company）

不只賣芯片，而是賣整套開發(fā)生態(tài)、服務(wù)器架構(gòu)、網(wǎng)絡(luò)、軟件與解決方案的公司。

典型理解：
英偉達(dá)越來越像平臺公司，而不只是GPU供應(yīng)商。

十三、宣傳敘事中常見高頻詞

下面這些詞，公眾號寫作時最好提示讀者：它們有時是事實，有時是戰(zhàn)略表達(dá)，有時是估值敘事。

101. “加速計算（Accelerated Computing）”

意思是用GPU/加速器替代傳統(tǒng)CPU主導(dǎo)計算。
既是技術(shù)趨勢，也是一種平臺敘事。

102. “AI工廠（AI Factory）”

既可以理解為新的數(shù)據(jù)中心形態(tài)，也是一種很強的商業(yè)包裝語言。

103. “全棧（Full Stack）”

公司不僅做芯片，還做網(wǎng)絡(luò)、服務(wù)器、軟件、模型工具鏈。
這通常意味著更強控制力，也意味著更高估值敘事空間。

104. “端到端（End-to-End）”

從芯片到云服務(wù)到應(yīng)用，一家公司盡量打通全鏈路。

105. “主權(quán)AI（Sovereign AI）”

一個國家或地區(qū)希望擁有自己的AI算力、數(shù)據(jù)和模型能力，不完全依賴外國平臺。

106. “Token工廠”

把token生產(chǎn)類比為工業(yè)生產(chǎn)，是AI推理經(jīng)濟(jì)學(xué)的一種形象說法。

107. “推理時代”

強調(diào)未來AI需求不只在訓(xùn)練，更在大規(guī)模、高頻、長期的推理。

108. “推理爆發(fā) / 推理擴(kuò)張”

指隨著AI普及，真正消耗算力的可能是海量推理請求，而非一次性訓(xùn)練。

十四、普通讀者最容易混淆的術(shù)語對照 1. GPU 和 CPU 有什么區(qū)別？

• CPU：通用、控制強、單線程能力強

• GPU：并行能力強，適合AI大規(guī)模計算

• GPU更通用，生態(tài)成熟

• ASIC更專用，理論效率更高，但適配范圍更窄

• 訓(xùn)練：讓模型學(xué)會能力

• 推理：讓模型實際干活

HBM通常是高端AI加速器上的顯存技術(shù)形態(tài)之一；顯存是更泛的概念。

5. NVLink 和網(wǎng)絡(luò)有什么區(qū)別？

NVLink更多是服務(wù)器內(nèi)部或近距離高性能互連；數(shù)據(jù)中心網(wǎng)絡(luò)則負(fù)責(zé)更大范圍連接。

6. 算力強就一定贏嗎？

不一定。還要看：

• 內(nèi)存帶寬

• 網(wǎng)絡(luò)

• 軟件生態(tài)

• 功耗

• 成本

• 實際利用率