第十章 文件與數(shù)據(jù)格式化

隨著程序規(guī)模的增大，我們不再只處理內(nèi)存中的臨時(shí)數(shù)據(jù)，而需要將數(shù)據(jù)長(zhǎng)期保存或跨程序共享。文件是最基本的數(shù)據(jù)持久化方式，也是 Python 與外部世界溝通的重要橋梁。

在現(xiàn)代編程中，文件不僅僅是“讀寫文本”，它還代表著數(shù)據(jù)的組織形式。

通過(guò)不同的文件格式（如 .txt、.csv、.json），我們可以存儲(chǔ)和處理一維列表、二維表格，甚至高維結(jié)構(gòu)化數(shù)據(jù)。

學(xué)習(xí)目標(biāo)：

（1）理解文件的概念、分類及其在程序中的作用。

（2）掌握 Python 文件的打開、讀取、寫入與關(guān)閉操作。

（3）熟練使用 with 上下文與異常處理實(shí)現(xiàn)安全文件操作。

（4）了解數(shù)據(jù)的組織維度（一維、二維、高維）與常用格式（CSV、JSON）。

（5）能夠?qū)⒊绦驍?shù)據(jù)保存為文本或結(jié)構(gòu)化文件并重新加載使用。

10.1 文件概述

當(dāng)程序運(yùn)行結(jié)束后，所有變量和數(shù)據(jù)都將從內(nèi)存中消失。若要保存程序的運(yùn)行結(jié)果、記錄日志或在不同程序間共享信息，就需要借助文件（File）。

文件是數(shù)據(jù)在外部存儲(chǔ)介質(zhì)（如磁盤）上的長(zhǎng)期存放形式，是實(shí)現(xiàn)數(shù)據(jù)持久化的核心手段。

Python 提供了簡(jiǎn)單而功能強(qiáng)大的文件操作接口，使得保存結(jié)果與加載數(shù)據(jù)都非常方便。

10.1.1文件與路徑

文件由文件名和路徑組成。路徑（Path）描述了文件在計(jì)算機(jī)存儲(chǔ)中的位置。

（1）絕對(duì)路徑（Absolute Path）：從磁盤根目錄開始的完整路徑。

例如：

"C:\\Users\\mediaTEA\\Documents\\data.txt"

（2）相對(duì)路徑（Relative Path）：相對(duì)于當(dāng)前程序所在目錄的路徑。

例如：

"data\\result.txt"  # 當(dāng)前目錄下的 data 文件夾

Python 中常用 或 模塊處理路徑：

print(data_dir.exists())

10.1.2 文件類型

根據(jù)存儲(chǔ)形式不同，文件主要分為兩類。

（1）文本文件（Text File）

? 以字符形式存儲(chǔ)數(shù)據(jù)，如 .txt、.csv、.json。

? 支持文本編輯器打開。

? 通常需要指定編碼（如 UTF-8）。

（2）二進(jìn)制文件（Binary File）

? 以字節(jié)形式存儲(chǔ)，如圖片、音頻、模型文件（.jpg、.mp3、.pkl）。

? 不可直接用文本方式查看。

10.1.3文件編碼

open() 在文本模式下的默認(rèn)編碼依賴于運(yùn)行環(huán)境的區(qū)域設(shè)置，因此建議顯式指定 encoding="utf-8" 以避免跨平臺(tái)編碼問(wèn)題。

    print(f.read())

提示：

可通過(guò)標(biāo)準(zhǔn)庫(kù) .getpreferredencoding() 查看系統(tǒng) locale。

10.1.4 數(shù)據(jù)組織的維度

文件不僅僅是保存內(nèi)容的容器，它還決定了數(shù)據(jù)的組織方式。

Python 支持多種維度的數(shù)據(jù)表示。從一維的數(shù)列，到二維的表格，再到高維的嵌套結(jié)構(gòu)。不同維度的數(shù)據(jù)對(duì)應(yīng)不同的文件格式與讀取方法。

10.2 文件的使用

文件的操作流程可概括為三步：

打開（open） → 操作（讀寫） → 關(guān)閉（close）

在 Python 中，既可手動(dòng)控制文件關(guān)閉，還可通過(guò) with 上下文自動(dòng)管理資源。

10.2.1 文件的打開與關(guān)閉

使用內(nèi)置函數(shù) 打開文件。

基本語(yǔ)法結(jié)構(gòu)：

f = open(file, mode, encoding=None)    # 打開文件，返回一個(gè)文件對(duì)象

常見(jiàn)模式說(shuō)明：

      'r+' 從開頭讀寫；'w+' 先截?cái)嘣僮x寫；'a+' 追加寫入、可讀取。

示例：

f.close()

提示：寫入后務(wù)必調(diào)用 .close() 關(guān)閉文件，以釋放資源。

10.2.2 with 上下文管理器

with 語(yǔ)句能自動(dòng)處理文件的關(guān)閉操作，是推薦的文件操作方式。

    f.write("追加一行文本。\n")

等價(jià)于：

    f.close()

優(yōu)點(diǎn)：即使程序中途出錯(cuò)，文件也會(huì)被安全關(guān)閉。

10.2.3 文件的讀寫

（1）讀取文件

相關(guān)方法：

.read(size = -1)

讀取文件全部?jī)?nèi)容或指定 size 長(zhǎng)度的字符串或字節(jié)流。

.readline(size = -1)

讀取一行或該行前指定 size 長(zhǎng)度的字符串或字節(jié)流。

說(shuō)明：與 .read() 的參數(shù)一樣，size 表示要返回的最大字符（文本模式）或字節(jié)（二進(jìn)制模式）數(shù)；當(dāng) size 被指定且小于剩余內(nèi)容長(zhǎng)度時(shí)會(huì)返回不完整的行/數(shù)據(jù)片段。

.readlines(hint = -1)

讀取所有行，返回以行元素的列表。hint 是一個(gè)建議的字節(jié)/字符大小閾值（近似），并非嚴(yán)格的行數(shù)限制。

lines = f.readlines(1024)  # 大致讀取 ~1024 字節(jié)的行，返回行列表

.seek(offset, whence=0)

改變當(dāng)前文件操作指針的位置。offset 是相對(duì)于 whence 的偏移量（以字節(jié)或字符為單位，取決于文件模式）。whence 指定相對(duì)位置：0（文件開頭）、1（當(dāng)前位置）、2（文件結(jié)尾）。

f.seek(0, 2)         # 或 f.seek(0, os.SEEK_END)

示例 1：

    print(text)

示例 2：

         print(line)

示例 3：

        print(line, end="")   

若文件很大時(shí)，推薦使用按行迭代 for line in f: 的方式。

（2）寫入文件

相關(guān)方法：

.write(s)

寫入字符串或字節(jié)流到文件。

.writelines(lines)

將一個(gè)元素為字符串的列表整體寫入到文件。

示例 1：

    f.write("Loss=0.45, Accuracy=0.82\n")

示例 2：

    f.writelines(ls)

.writelines() 不會(huì)自動(dòng)添加換行符，若要自動(dòng)添加換行，列表元素必須包含 \n，還可使用 print(line, file=f) 或者 f.write("\n".join(lines))。

10.2.4 文件異常處理

文件操作中常見(jiàn)的異常包括：

? FileNotFoundError：文件不存在。

? PermissionError：無(wú)訪問(wèn)權(quán)限。

? IsADirectoryError：路徑是文件夾不是文件。

示例：

    print("讀取文件時(shí)發(fā)生錯(cuò)誤：", e)

10.3 一維數(shù)據(jù)的組織與處理

Python 提供了靈活的工具來(lái)讀取、存儲(chǔ)與處理一維數(shù)據(jù)，使我們能夠輕松完成統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果、分析日志文件、清洗或篩選文本數(shù)據(jù)以及提取模型預(yù)測(cè)結(jié)果等任務(wù)。

10.3.1 一維數(shù)據(jù)的表示與存儲(chǔ)

最常見(jiàn)的一維數(shù)據(jù)結(jié)構(gòu)有列表（list）和字符串（str）。

列表適合保存數(shù)值型或混合型數(shù)據(jù)，而字符串常用于原始文本。

例 10.3.1：將模型損失值寫入文本文件

print("模型訓(xùn)練損失值已保存。")

保存后的文件內(nèi)容為：

0.69

這種方式適用于線性、按時(shí)間順序變化的數(shù)據(jù)，如溫度記錄、實(shí)驗(yàn)結(jié)果、訓(xùn)練日志等。

10.3.2 一維數(shù)據(jù)的讀取與處理

讀取文件后，可通過(guò)類型轉(zhuǎn)換與內(nèi)置函數(shù)進(jìn)行進(jìn)一步分析。

例 10.3.2：計(jì)算平均損失值

    print("無(wú)有效數(shù)據(jù)。")

輸出：

平均損失值：0.802

進(jìn)一步示例：篩選特定區(qū)間的數(shù)據(jù)

print("篩選后數(shù)據(jù)：", filtered)

輸出：

篩選后數(shù)據(jù)： [0.76, 0.69]

這種篩選操作在 AI 訓(xùn)練監(jiān)控中非常常見(jiàn)，比如只提取低于閾值的損失以分析收斂階段。

10.3.3 一維數(shù)據(jù)的應(yīng)用

文本文件不僅可用于保存數(shù)值，也常存放事件記錄或系統(tǒng)日志。

我們可以使用字符串方法來(lái)搜索、過(guò)濾與統(tǒng)計(jì)關(guān)鍵信息。

例 10.3.3：過(guò)濾 AI 訓(xùn)練日志中的異常行

    print(e)

示例輸入文件（train_log.txt）：

[INFO] Epoch 3: Loss=0.44

輸出：

[ERROR] Model failed to converge

這種文本過(guò)濾思路與現(xiàn)實(shí)中的日志監(jiān)控系統(tǒng)一致，是 AI 工程與系統(tǒng)維護(hù)的重要技能之一。

例 10.3.4：關(guān)鍵字統(tǒng)計(jì)器

統(tǒng)計(jì)一維文本數(shù)據(jù)中指定關(guān)鍵詞的出現(xiàn)次數(shù)。

print(f"關(guān)鍵詞 '酒' 出現(xiàn)次數(shù)：{count}")

輸出示例：

關(guān)鍵詞 '酒' 出現(xiàn)次數(shù)：3

此方法可用于自然語(yǔ)言處理（NLP）中的詞頻分析，也可擴(kuò)展為關(guān)鍵詞提取或情感統(tǒng)計(jì)等任務(wù)。

小結(jié)

本次課介紹了 Python 文件操作的基礎(chǔ)概念、路徑處理、文件類型與編碼，以及文件的打開、關(guān)閉、讀寫與異常處理方法。通過(guò)示例展示了一維數(shù)據(jù)的保存、讀取、篩選與分析，以及日志與文本的關(guān)鍵字統(tǒng)計(jì)。

下一課將進(jìn)一步講解二維及高維數(shù)據(jù)的組織與處理（如 CSV 與 JSON 文件），并結(jié)合綜合案例進(jìn)行文件應(yīng)用實(shí)踐，為實(shí)際數(shù)據(jù)處理與 AI 訓(xùn)練監(jiān)控等打下堅(jiān)實(shí)基礎(chǔ)。

“點(diǎn)贊有美意，贊賞是鼓勵(lì)”