點擊下方“JavaEdge”，選擇“設(shè)為星標(biāo)”

第一時間關(guān)注技術(shù)干貨！

免責(zé)聲明~ 任何文章不要過度深思！ 萬事萬物都經(jīng)不起審視，因為世上沒有同樣的成長環(huán)境，也沒有同樣的認(rèn)知水平，更「沒有適用于所有人的解決方案」； 不要急著評判文章列出的觀點，只需代入其中，適度審視一番自己即可，能「跳脫出來從外人的角度看看現(xiàn)在的自己處在什么樣的階段」才不為俗人。 怎么想、怎么做，全在乎自己「不斷實踐中尋找適合自己的大道」

剛接觸 AI 和 PyTorch，理解 “張量 (Tensor)” 是入門關(guān)鍵。

簡單來說，可將 PyTorch 中的張量 (Tensor) 理解為 Java 中的多維數(shù)組，但它比普通的 Java 數(shù)組強大得多，尤其在 AI 和深度學(xué)習(xí)領(lǐng)域。

1 張量（Tensor） VS Java 數(shù)組/列表

• Java 數(shù)組 (Array) / 列表 (List):Java常用數(shù)組和列表來存儲數(shù)據(jù)，例如int[],double[][],List ,ArrayList 等。 它們可以存儲一系列相同類型的數(shù)據(jù)。

• PyTorch 張量 (Tensor):

  張量本質(zhì)上也是用來存儲數(shù)值數(shù)據(jù)的，就像 Java 的數(shù)組一樣，它可以是：

• • 標(biāo)量 (Scalar):一個單獨的數(shù)字，類似于 Java 中的int,float,double等基本數(shù)據(jù)類型。 例如：5,3.14,-10。

  • 向量 (Vector):一維數(shù)組，類似于 Java 中的int[]或List 。例如：[1, 2, 3],[2.5, 3.5, 4.0]。

  • 矩陣 (Matrix):

    二維數(shù)組，類似于 Java 中的

    int[][]

    List >

    如：

    [[1, 2],
    [3, 4]]

  • 更高維度的數(shù)組:張量可以是三維、四維甚至更高維度的數(shù)組，這在深度學(xué)習(xí)中非常常見，用來表示更復(fù)雜的數(shù)據(jù)結(jié)構(gòu)。

張量是多維數(shù)組的泛化。它是一個可以表示標(biāo)量、向量、矩陣以及更高維度數(shù)據(jù)的數(shù)學(xué)對象。 在 PyTorch 中，張量是其核心數(shù)據(jù)結(jié)構(gòu)，用于表示神經(jīng)網(wǎng)絡(luò)的輸入、輸出和參數(shù)。

3 張量的維度（Dimensions/Rank）

張量的維度也稱為軸 (axis) 或秩 (rank)。 它決定了張量可以表示的數(shù)據(jù)的結(jié)構(gòu)。

• 0 維張量 (標(biāo)量):

  只有一個數(shù)值，維度為 0。

  scalar_tensor = torch.tensor(5)
  print(scalar_tensor.ndim) # 輸出維度: 0

• 1 維張量 (向量):

  一列或一行數(shù)值，維度為 1。

  vector_tensor = torch.tensor([1, 2, 3])
  print(vector_tensor.ndim) # 輸出維度: 1
  print(vector_tensor.shape) # 輸出形狀: torch.Size([3])

• 2 維張量 (矩陣):

  行和列組成的表格，維度為 2。

  matrix_tensor = torch.tensor([[1, 2], [3, 4]])
  print(matrix_tensor.ndim) # 輸出維度: 2
  print(matrix_tensor.shape) # 輸出形狀: torch.Size([2, 2])

• 3 維張量 (立方體):

  可以想象成多個矩陣堆疊在一起，維度為 3。 在圖像處理中，彩色圖像可以用 3 維張量表示 (高度 x 寬度 x 顏色通道)。

  tensor_3d = torch.randn(3, 4, 5) # 3個矩陣，每個矩陣 4行 5列
  print(tensor_3d.ndim) # 輸出維度: 3
  print(tensor_3d.shape) # 輸出形狀: torch.Size([3, 4, 5])

就像 Java 中有int,float,double等數(shù)據(jù)類型一樣，PyTorch 張量也有不同的數(shù)據(jù)類型，如：

• torch.float32或torch.float: 32 位浮點數(shù) (單精度浮點數(shù))，常用。

• torch.float64或torch.double: 64 位浮點數(shù) (雙精度浮點數(shù))，精度更高，但更耗內(nèi)存和計算資源。

• torch.float16或torch.half: 16 位浮點數(shù) (半精度浮點數(shù))，更節(jié)省內(nèi)存和加速計算，但精度較低。

• torch.int32或torch.int: 32 位整數(shù)。

• torch.int64或torch.long: 64 位整數(shù) (長整型)，常用表示索引等。

• torch.uint8: 8 位無符號整數(shù) (0-255)，常用于圖像像素表示。

• 等等...

代碼示例中看到的dtype=torch.long,dtype=torch.double,dtype=torch.float就是指定張量的數(shù)據(jù)類型。 選擇合適的數(shù)據(jù)類型對于性能和精度至關(guān)重要。

5 GPU 加速（GPU Acceleration）

這是 PyTorch 張量最核心的優(yōu)勢！普通的 Java 數(shù)組和列表主要在 CPU 上進(jìn)行運算，而 PyTorch 張量可以輕松地轉(zhuǎn)移到 GPU 上進(jìn)行加速運算。

GPU (圖形處理器) 特別擅長并行計算，而神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和推理包含大量的矩陣運算，非常適合 GPU 并行加速。 使用 GPU 可以大幅度提升深度學(xué)習(xí)模型的訓(xùn)練和推理速度。

代碼示例中看到的.to(device)方法和torch.device("cuda")就是用來將張量轉(zhuǎn)移到 GPU 上的。

6 張量在深度學(xué)習(xí)中的應(yīng)用

在深度學(xué)習(xí)中，張量幾乎無處不在：

• 神經(jīng)網(wǎng)絡(luò)的權(quán)重 (Weights) 和偏置 (Biases):模型的參數(shù)通常用張量表示。

• 輸入數(shù)據(jù) (Images, Text, Audio 等):輸入數(shù)據(jù)被轉(zhuǎn)換成張量喂給神經(jīng)網(wǎng)絡(luò)。例如，圖像可以表示為 3 維張量 (高度 x 寬度 x 顏色通道)。

• 神經(jīng)網(wǎng)絡(luò)的中間層輸出 (Activations):每一層神經(jīng)網(wǎng)絡(luò)的輸出也是張量。

• 梯度 (Gradients):在反向傳播過程中計算的梯度也是張量，用于更新模型的參數(shù)。

• 把 PyTorch 張量理解為 “GPU 加速的，功能更強大的多維數(shù)組”是一個很好的入門方式。

• 張量是 PyTorch 的核心數(shù)據(jù)結(jié)構(gòu)，用于存儲數(shù)值數(shù)據(jù)并進(jìn)行高效的數(shù)學(xué)運算，尤其擅長 GPU 加速的矩陣運算。

• 理解張量的維度、數(shù)據(jù)類型和 GPU 加速特性，是學(xué)習(xí) PyTorch 和深度學(xué)習(xí)的基礎(chǔ)。

• 作為 Java 工程師，可將張量類比為 Java 中的數(shù)組/列表，但要記住張量在 AI 領(lǐng)域的獨特價值和優(yōu)勢。

• 魔都架構(gòu)師 | 全網(wǎng)30W+技術(shù)追隨者

• 大廠分布式系統(tǒng)/數(shù)據(jù)中臺實戰(zhàn)專家

• 主導(dǎo)交易系統(tǒng)億級流量調(diào)優(yōu) & 車聯(lián)網(wǎng)平臺架構(gòu)

• AIGC應(yīng)用開發(fā)先行者 | 區(qū)塊鏈落地實踐者

• 以技術(shù)驅(qū)動創(chuàng)新，我們的征途是改變世界！

• 實戰(zhàn)干貨：編程嚴(yán)選網(wǎng)

關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！