點擊下方“JavaEdge”，選擇“設(shè)為星標”

第一時間關(guān)注技術(shù)干貨！

免責聲明~ 任何文章不要過度深思！ 萬事萬物都經(jīng)不起審視，因為世上沒有同樣的成長環(huán)境，也沒有同樣的認知水平，更「沒有適用于所有人的解決方案」； 不要急著評判文章列出的觀點，只需代入其中，適度審視一番自己即可，能「跳脫出來從外人的角度看看現(xiàn)在的自己處在什么樣的階段」才不為俗人。 怎么想、怎么做，全在乎自己「不斷實踐中尋找適合自己的大道」

1. 什么是文本張量表示？

文本張量表示是將文本數(shù)據(jù)轉(zhuǎn)換為張量（通常是矩陣）形式的過程。通常，每個詞匯被表示為一個向量（稱為詞向量），這些詞向量按順序排列形成一個矩陣，從而表示整個文本。例如：

["人生", "該", "如何", "起頭"]

==>

# 每個詞對應矩陣中的一個向量
[[1.32, 4.32, 0.32, 5.2],
 [3.1, 5.43, 0.34, 3.2],
 [3.21, 5.32, 2, 4.32],
 [2.54, 7.32, 5.12, 9.54]]

將文本表示為張量（矩陣）形式，使得計算機能夠處理和理解自然語言文本，從而進行后續(xù)的分析和處理任務。

3. 文本張量表示的方法 3.1 One-Hot 詞向量表示

One-Hot 編碼是一種簡單的詞向量表示方法。每個詞被表示為一個長度為 n 的向量，其中只有一個元素為 1，其余為 0。n 的大小等于語料庫中不同詞匯的總數(shù)。例如：

["改變", "要", "如何", "起手"]`
==>

[[1, 0, 0, 0],
 [0, 1, 0, 0],
 [0, 0, 1, 0],
 [0, 0, 0, 1]]

from sklearn.externals import joblib
from keras.preprocessing.text import Tokenizer

vocab = {"周杰倫", "陳奕迅", "王力宏", "李宗盛", "吳亦凡", "鹿晗"}
t = Tokenizer(num_words=None, char_level=False)
t.fit_on_texts(vocab)

for token in vocab:
    zero_list = [0]*len(vocab)
    token_index = t.texts_to_sequences([token])[0][0] - 1
    zero_list[token_index] = 1
    print(token, "的one-hot編碼為:", zero_list)

tokenizer_path = "./Tokenizer"
joblib.dump(t, tokenizer_path)

輸出：

鹿晗 的one-hot編碼為: [1, 0, 0, 0, 0, 0]
王力宏 的one-hot編碼為: [0, 1, 0, 0, 0, 0]
李宗盛 的one-hot編碼為: [0, 0, 1, 0, 0, 0]
陳奕迅 的one-hot編碼為: [0, 0, 0, 1, 0, 0]
周杰倫 的one-hot編碼為: [0, 0, 0, 0, 1, 0]
吳亦凡 的one-hot編碼為: [0, 0, 0, 0, 0, 1]

• 優(yōu)點：簡單易懂，易于實現(xiàn)。

• 缺點：無法捕捉詞與詞之間的關(guān)系，且在大語料庫中，向量維度會變得非常大，占用大量內(nèi)存。

由于這些缺點，One-Hot 編碼逐漸被更高效的稠密向量表示方法（如 Word2Vec 和 Word Embedding）所取代。

3.2 Word2Vec

Word2Vec 是一種無監(jiān)督學習方法，能夠?qū)⒃~匯表示為稠密向量。它通過訓練神經(jīng)網(wǎng)絡(luò)模型，將網(wǎng)絡(luò)參數(shù)作為詞匯的向量表示。Word2Vec 有兩種訓練模式：

3.2.1 CBOW（Continuous Bag of Words）

CBOW 通過上下文詞匯預測目標詞匯。例如，給定一個窗口大小為 9 的文本，使用前后 4 個詞匯來預測目標詞匯。

3.2.2 Skip-Gram

Skip-Gram 通過目標詞匯預測上下文詞匯。與 CBOW 相反，Skip-Gram 使用目標詞匯來預測其周圍的詞匯。

3.3 Word Embedding（詞嵌入）

詞嵌入是通過某種方式將詞匯映射到高維空間中的稠密向量表示。廣義上，詞嵌入包括所有稠密向量表示方法，如 Word2Vec；狹義上，詞嵌入指的是神經(jīng)網(wǎng)絡(luò)中的嵌入層，通過訓練得到的嵌入矩陣。

4. 使用 FastText 訓練和使用 Word2Vec 4.1 獲取訓練數(shù)據(jù)

可以使用維基百科的部分網(wǎng)頁信息作為訓練數(shù)據(jù)。通過以下命令下載并解壓數(shù)據(jù)：

wget -c http://mattmahoney.net/dc/enwik9.zip -P data
unzip data/enwik9.zip -d data

使用 FastText 訓練詞向量：

import fasttext
model = fasttext.train_unsupervised('data/fil9')

可以調(diào)整模型的超參數(shù)，如訓練模式、詞向量維度、學習率等：

model = fasttext.train_unsupervised('data/fil9', "cbow", dim=300, epoch=1, lr=0.1, thread=8)

通過查找鄰近詞匯來檢驗模型效果：

model.get_nearest_neighbors('sports')
model.get_nearest_neighbors('music')
model.get_nearest_neighbors('dog')

保存和加載模型：

model.save_model("fil9.bin")
model = fasttext.load_model("fil9.bin")

通過 TensorBoard 可以可視化詞嵌入的效果：

import torch
from torch.utils.tensorboard import SummaryWriter

writer = SummaryWriter()
embedded = torch.randn(100, 50)
meta = list(map(lambda x: x.strip(), fileinput.FileInput("./vocab100.csv")))
writer.add_embedding(embedded, metadata=meta)
writer.close()

啟動 TensorBoard 服務：

tensorboard --logdir runs --host 0.0.0.0

通過瀏覽器訪問可視化頁面，查看詞嵌入的效果。

總結(jié)

文本張量表示是將文本數(shù)據(jù)轉(zhuǎn)換為計算機可處理的張量形式的過程。通過 One-Hot 編碼、Word2Vec 和詞嵌入等方法，可以將詞匯表示為稠密向量，從而捕捉詞匯之間的語義關(guān)系。FastText 是一種常用的工具，能夠高效地訓練詞向量，并通過調(diào)整超參數(shù)優(yōu)化模型效果。

本文已收錄在Github Java-Interview-Tutorial，關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

• 魔都架構(gòu)師 | 全網(wǎng)30W+技術(shù)追隨者

• 大廠分布式系統(tǒng)/數(shù)據(jù)中臺實戰(zhàn)專家

• 主導交易系統(tǒng)億級流量調(diào)優(yōu) & 車聯(lián)網(wǎng)平臺架構(gòu)

• AIGC應用開發(fā)先行者 | 區(qū)塊鏈落地實踐者

• 以技術(shù)驅(qū)動創(chuàng)新，我們的征途是改變世界！

• 實戰(zhàn)干貨：編程嚴選網(wǎng)

關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！