點(diǎn)擊下方“JavaEdge”，選擇“設(shè)為星標(biāo)”

第一時(shí)間關(guān)注技術(shù)干貨！

免責(zé)聲明~ 任何文章不要過(guò)度深思！ 萬(wàn)事萬(wàn)物都經(jīng)不起審視，因?yàn)槭郎蠜](méi)有同樣的成長(zhǎng)環(huán)境，也沒(méi)有同樣的認(rèn)知水平，更「沒(méi)有適用于所有人的解決方案」； 不要急著評(píng)判文章列出的觀點(diǎn)，只需代入其中，適度審視一番自己即可，能「跳脫出來(lái)從外人的角度看看現(xiàn)在的自己處在什么樣的階段」才不為俗人。 怎么想、怎么做，全在乎自己「不斷實(shí)踐中尋找適合自己的大道」

1 目的

本文旨在幫助Java 大佬們快速理解文本數(shù)據(jù)，如何檢查語(yǔ)料可能的問(wèn)題，并為后續(xù)模型訓(xùn)練提供超參數(shù)選擇的參考。

2 常見(jiàn)的文本數(shù)據(jù)分析方法

• 統(tǒng)計(jì)標(biāo)簽的數(shù)量分布

• 計(jì)算句子長(zhǎng)度分布

• 進(jìn)行詞頻統(tǒng)計(jì)和關(guān)鍵詞詞云可視化

本文數(shù)據(jù)集特點(diǎn)：

• 用于二分類任務(wù)的中文情感分析數(shù)據(jù)集

• train.tsv是訓(xùn)練集，dev.tsv是驗(yàn)證集，數(shù)據(jù)格式相同

ounter(lineounter(lineounter(line
sentence    label
早餐不好,服務(wù)不到位,晚餐無(wú)西餐,早餐晚餐相同,房間條件不好,餐廳不分吸煙區(qū).房間不分有無(wú)煙房.    0
去的時(shí)候 ,酒店大廳和餐廳在裝修,感覺(jué)大廳有點(diǎn)擠.由于餐廳裝修本來(lái)該享受的早飯,也沒(méi)有享受(他們是8點(diǎn)開(kāi)始每個(gè)房間送,但是我時(shí)間來(lái)不及了)不過(guò)前臺(tái)服務(wù)員態(tài)度好!    1

數(shù)據(jù)包含兩列：

• 第一列：情感評(píng)論文本

• 第二列：標(biāo)簽，0 消極評(píng)論，1 積極評(píng)論

import seaborn as sns
import pandas as pd
import matplotlib.pyplot as plt

plt.style.use('fivethirtyeight') 

train_data = pd.read_csv("./cn_data/train.tsv", sep="\t")
valid_data = pd.read_csv("./cn_data/dev.tsv", sep="\t")

sns.countplot(x="label", data=train_data)
plt.title("訓(xùn)練集標(biāo)簽分布")
plt.show()

sns.countplot(x="label", data=valid_data)
plt.title("驗(yàn)證集標(biāo)簽分布")
plt.show()

訓(xùn)練集標(biāo)簽數(shù)量分布：

驗(yàn)證集標(biāo)簽數(shù)量分布：

分析：深度學(xué)習(xí)模型評(píng)估，一般用ACC作為評(píng)估指標(biāo)，若想將ACC的基線定義在50%左右，則需正負(fù)樣本比例維持在1:1左右，否則就要進(jìn)行必要的數(shù)據(jù)增強(qiáng)或數(shù)據(jù)刪減。上圖中訓(xùn)練和驗(yàn)證集正負(fù)樣本都稍有不均衡, 可以進(jìn)行一些數(shù)據(jù)增強(qiáng)。

4.2 計(jì)算句子長(zhǎng)度分布

# 在訓(xùn)練數(shù)據(jù)中添加新的句子長(zhǎng)度列, 每個(gè)元素的值都是對(duì)應(yīng)的句子列的長(zhǎng)度
train_data["sentence_length"] = list(map(lambda x: len(x), train_data["sentence"]))

# 繪制句子長(zhǎng)度列的數(shù)量分布圖
sns.countplot("sentence_length", data=train_data)
# 主要關(guān)注count長(zhǎng)度分布的縱坐標(biāo), 不需要繪制橫坐標(biāo), 橫坐標(biāo)范圍通過(guò)dist圖進(jìn)行查看
plt.xticks([])
plt.show()

# 繪制dist長(zhǎng)度分布圖
sns.distplot(train_data["sentence_length"])

# 主要關(guān)注dist長(zhǎng)度分布橫坐標(biāo), 不需要繪制縱坐標(biāo)
plt.yticks([])
plt.show()


# 在驗(yàn)證數(shù)據(jù)中添加新的句子長(zhǎng)度列, 每個(gè)元素的值都是對(duì)應(yīng)的句子列的長(zhǎng)度
valid_data["sentence_length"] = list(map(lambda x: len(x), valid_data["sentence"]))

# 繪制句子長(zhǎng)度列的數(shù)量分布圖
sns.countplot("sentence_length", data=valid_data)

# 主要關(guān)注count長(zhǎng)度分布的縱坐標(biāo), 不需要繪制橫坐標(biāo), 橫坐標(biāo)范圍通過(guò)dist圖進(jìn)行查看
plt.xticks([])
plt.show()

# 繪制dist長(zhǎng)度分布圖
sns.distplot(valid_data["sentence_length"])

# 主要關(guān)注dist長(zhǎng)度分布橫坐標(biāo), 不需要繪制縱坐標(biāo)
plt.yticks([])
plt.show()

訓(xùn)練集句子長(zhǎng)度分布：

驗(yàn)證集句子長(zhǎng)度分布：

分析：通過(guò)繪制句子長(zhǎng)度分布圖，可知我們的語(yǔ)料中大部分句子長(zhǎng)度的分布范圍, 因?yàn)槟Ｐ偷妮斎胍鬄楣潭ǔ叽绲膹埩�，合理的長(zhǎng)度范圍對(duì)之后進(jìn)行句子截?cái)嘌a(bǔ)齊(規(guī)范長(zhǎng)度)起到關(guān)鍵的指導(dǎo)作用. 上圖中大部分句子長(zhǎng)度的范圍大致為20-250之間。

4.3 繪制句子長(zhǎng)度與標(biāo)簽的散點(diǎn)圖

sns.stripplot(x='label', y='sentence_length', data=train_data)
plt.title("訓(xùn)練集正負(fù)樣本句子長(zhǎng)度分布")
plt.show()

sns.stripplot(x='label', y='sentence_length', data=valid_data)
plt.title("驗(yàn)證集正負(fù)樣本句子長(zhǎng)度分布")
plt.show()

訓(xùn)練集上正負(fù)樣本的長(zhǎng)度散點(diǎn)分布：

驗(yàn)證集上正負(fù)樣本的長(zhǎng)度散點(diǎn)分布：

分析：通過(guò)查看正負(fù)樣本長(zhǎng)度散點(diǎn)圖，有效定位異常點(diǎn)的出現(xiàn)位置，幫助我們更準(zhǔn)確進(jìn)行人工語(yǔ)料審查。 上圖中在訓(xùn)練集正樣本中出現(xiàn)異常點(diǎn)，它的句子長(zhǎng)度近3500左右，需人工審查。

4.4 統(tǒng)計(jì)不同的詞匯總數(shù)

# 導(dǎo)入jieba用于分詞
# 導(dǎo)入chain方法用于扁平化列表
import jieba
from itertools import chain

# 進(jìn)行訓(xùn)練集的句子進(jìn)行分詞, 并統(tǒng)計(jì)出不同詞匯的總數(shù)
train_vocab = set(chain(*map(lambda x: jieba.lcut(x), train_data["sentence"])))
print("訓(xùn)練集共包含不同詞匯總數(shù)為：", len(train_vocab))

# 進(jìn)行驗(yàn)證集的句子進(jìn)行分詞, 并統(tǒng)計(jì)出不同詞匯的總數(shù)
valid_vocab = set(chain(*map(lambda x: jieba.lcut(x), valid_data["sentence"])))
print("訓(xùn)練集共包含不同詞匯總數(shù)為：", len(valid_vocab))

輸出效果：

ounter(lineounter(line
訓(xùn)練集共包含不同詞匯總數(shù)為： 12147
訓(xùn)練集共包含不同詞匯總數(shù)為： 6857

# 使用jieba中的詞性標(biāo)注功能
import jieba.posseg as pseg

def get_a_list(text):
    """用于獲取形容詞列表"""
    # 使用jieba的詞性標(biāo)注方法切分文本,獲得具有詞性屬性flag和詞匯屬性word的對(duì)象, 
    # 從而判斷flag是否為形容詞,來(lái)返回對(duì)應(yīng)的詞匯
    r = []
    for g in pseg.lcut(text):
        if g.flag == "a":
            r.append(g.word)
    return r

# 導(dǎo)入繪制詞云的工具包
from wordcloud import WordCloud

def get_word_cloud(keywords_list):
    # 實(shí)例化繪制詞云的類, 其中參數(shù)font_path是字體路徑, 為了能夠顯示中文, 
    # max_words指詞云圖像最多顯示多少個(gè)詞, background_color為背景顏色 
    wordcloud = WordCloud(font_path="./SimHei.ttf", max_words=100, background_color="white")
    # 將傳入的列表轉(zhuǎn)化成詞云生成器需要的字符串形式
    keywords_string = " ".join(keywords_list)
    # 生成詞云
    wordcloud.generate(keywords_string)

    # 繪制圖像并顯示
    plt.figure()
    plt.imshow(wordcloud, interpolation="bilinear")
    plt.axis("off")
    plt.show()

# 獲得訓(xùn)練集上正樣本
p_train_data = train_data[train_data["label"]==1]["sentence"]

# 對(duì)正樣本的每個(gè)句子的形容詞
train_p_a_vocab = chain(*map(lambda x: get_a_list(x), p_train_data))
#print(train_p_n_vocab)

# 獲得訓(xùn)練集上負(fù)樣本
n_train_data = train_data[train_data["label"]==0]["sentence"]

# 獲取負(fù)樣本的每個(gè)句子的形容詞
train_n_a_vocab = chain(*map(lambda x: get_a_list(x), n_train_data))

# 調(diào)用繪制詞云函數(shù)
get_word_cloud(train_p_a_vocab)
get_word_cloud(train_n_a_vocab)

訓(xùn)練集正樣本形容詞詞云：

訓(xùn)練集負(fù)樣本形容詞詞云：

# 獲得驗(yàn)證集上正樣本
p_valid_data = valid_data[valid_data["label"]==1]["sentence"]

# 對(duì)正樣本的每個(gè)句子的形容詞
valid_p_a_vocab = chain(*map(lambda x: get_a_list(x), p_valid_data))
#print(train_p_n_vocab)

# 獲得驗(yàn)證集上負(fù)樣本
n_valid_data = valid_data[valid_data["label"]==0]["sentence"]

# 獲取負(fù)樣本的每個(gè)句子的形容詞
valid_n_a_vocab = chain(*map(lambda x: get_a_list(x), n_valid_data))

# 調(diào)用繪制詞云函數(shù)
get_word_cloud(valid_p_a_vocab)
get_word_cloud(valid_n_a_vocab)

驗(yàn)證集正樣本形容詞詞云：

驗(yàn)證集負(fù)樣本形容詞詞云：

分析：根據(jù)高頻形容詞詞云顯示，可對(duì)當(dāng)前語(yǔ)料質(zhì)量進(jìn)行簡(jiǎn)單評(píng)估，同時(shí)對(duì)違反語(yǔ)料標(biāo)簽含義的詞匯進(jìn)行人工審查和修正，保證絕大多數(shù)語(yǔ)料符合訓(xùn)練標(biāo)準(zhǔn)。上圖中的正樣本大多數(shù)是褒義詞，而負(fù)樣本大多數(shù)是貶義詞，基本符合要求，但負(fù)樣本詞云中也存在"便利"這樣的褒義詞，因此可人工進(jìn)行審查。

5 總結(jié)

本文為各位 Javaer 提供了一系列文本數(shù)據(jù)分析方法，幫助更好地理解語(yǔ)料，為后續(xù)的機(jī)器學(xué)習(xí)模型訓(xùn)練提供基礎(chǔ)。

本文已收錄在Github Java-Interview-Tutorial，關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

• 魔都架構(gòu)師 | 全網(wǎng)30W+技術(shù)追隨者

• 大廠分布式系統(tǒng)/數(shù)據(jù)中臺(tái)實(shí)戰(zhàn)專家

• 主導(dǎo)交易系統(tǒng)億級(jí)流量調(diào)優(yōu) & 車(chē)聯(lián)網(wǎng)平臺(tái)架構(gòu)

• AIGC應(yīng)用開(kāi)發(fā)先行者 | 區(qū)塊鏈落地實(shí)踐者

• 以技術(shù)驅(qū)動(dòng)創(chuàng)新，我們的征途是改變世界！

• 實(shí)戰(zhàn)干貨：編程嚴(yán)選網(wǎng)

關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！