作者 | Sergio De Simone

譯者 | 馬可薇

谷歌剛剛發(fā)布了 Magika 1.0 版本，這是其開源文件類型檢測(cè)系統(tǒng)的一次重大重寫。新版本引入了 AI 技術(shù)，以支持更廣泛的文件類型，并使用 Rust 實(shí)現(xiàn)以獲得更高的性能和安全性。

Magika 1.0 支持的文件類型數(shù)量 已超過(guò) 200 種，相比此前基于 Python 的版本（約 100 種）實(shí)現(xiàn)了顯著提升。

谷歌指出，新增的許多文件類型都是此前難以識(shí)別的、較為專業(yè)的文本類格式，包括 Dockerfile、TOML、HCL、Bazel 文件等。Magika 1.0 還能夠區(qū)分使用 Swift、Kotlin、TypeScript、Dart、WebAssembly 以及 Zig 編寫的源代碼文件。此外，它也支持?jǐn)?shù)據(jù)科學(xué)領(lǐng)域常見的文件類型，例如 Jupyter Notebook、NumPy 數(shù)組、PyTorch 模型、ONNX 文件等。

除了覆蓋更廣的文件類型范圍外，Magika 1.0 還提供了細(xì)粒度更高的識(shí)別能力，能夠區(qū)分過(guò)去常被歸為一類的相似格式，例如 TypeScript 與 JavaScript、C++ 與 C、TSV 與 CSV 等。

為了讓工具能夠識(shí)別如此多樣的格式，谷歌的工程師們構(gòu)建了一個(gè)規(guī)模龐大的文件格式樣本數(shù)據(jù)集，用于訓(xùn)練專用的 AI 模型，其數(shù)據(jù)規(guī)模本身就構(gòu)成了一項(xiàng)挑戰(zhàn)：

我們的訓(xùn)練數(shù)據(jù)集在未壓縮狀態(tài)下增長(zhǎng)到了 3TB 以上，這對(duì)處理流程提出了很高的效率要求。為此，我們使用了近期發(fā)布的 SedPack 數(shù)據(jù)集庫(kù)。該工具允許在訓(xùn)練過(guò)程中將大規(guī)模數(shù)據(jù)集直接流式傳輸并解壓到內(nèi)存中，從而繞過(guò)潛在的 I/O 瓶頸，使整個(gè)過(guò)程成為可能。

與此同時(shí)，一些較新的、遺留的或高度專業(yè)化的格式在數(shù)據(jù)集中明顯樣本不足。谷歌通過(guò) Gemini 來(lái)解決這一問(wèn)題，利用其“將現(xiàn)有代碼和其他結(jié)構(gòu)化文件從一種格式轉(zhuǎn)換為另一種格式”，生成高質(zhì)量的合成訓(xùn)練數(shù)據(jù)。

谷歌表示，Magika 在平均精確率和召回率上都達(dá)到了約 99%，在文本類內(nèi)容的識(shí)別上的表現(xiàn)明顯優(yōu)于現(xiàn)有方案。

Magika 1.0 的另一項(xiàng)重要優(yōu)勢(shì)在于其核心系統(tǒng)被完全重寫：采用 Rust 實(shí)現(xiàn)，在最大化性能的同時(shí)提升了內(nèi)存安全性。這個(gè)基于 Rust 的新引擎是 Magika 命令行工具的核心，使其能夠在單個(gè) CPU 上每秒掃描數(shù)百個(gè)文件：

借助高性能的 ONNX 運(yùn)行時(shí)進(jìn)行模型推理，以及使用 Tokio 實(shí)現(xiàn)異步并行處理，Magika 可以在單核 CPU 上每秒識(shí)別數(shù)百個(gè)文件，并在現(xiàn)代多核處理器上輕松擴(kuò)展到每秒數(shù)千個(gè)文件。

根據(jù)谷歌的基準(zhǔn)測(cè)試結(jié)果，這種方案使得在一臺(tái) MacBook Pro (M4) 上幾乎可以達(dá)到每秒處理 1,000 個(gè)文件的速度。Reddit 用戶 robertknight2 對(duì)該工作流的 解釋 是：

在這個(gè)流程中，Rust 負(fù)責(zé)從文件中提取特征向量，只使用內(nèi)容的一小部分，并通過(guò)基于 Tokio 的循環(huán)來(lái)驅(qū)動(dòng)掃描過(guò)程。而基于這些特征預(yù)測(cè)文件類型的機(jī)器學(xué)習(xí)推理，則是由 ONNX 運(yùn)行時(shí)使用 C++ 實(shí)現(xiàn)的（通過(guò) ort crate 調(diào)用）。

該工具在首次加載模型時(shí)會(huì)產(chǎn)生一次性的性能開銷，但之后每個(gè)文件的處理時(shí)間約為 5 毫秒，而且推理時(shí)間幾乎不隨文件大小變化。

盡管有人 對(duì) Rust 的采用持保留態(tài)度，但 X 用戶 Caleb Maclennan 指出，“在需要通過(guò)啟發(fā)式方式猜測(cè)如何處理輸入的場(chǎng)景下，其安全的影響使得 Rust 成為一個(gè)很好的選擇”。另一位用戶 Mazzarito 補(bǔ)充 道：

當(dāng)文件擴(kuò)展名缺失，或者在文件上傳等場(chǎng)景下擴(kuò)展名不可信時(shí)，這類程序其實(shí)非常有價(jià)值。文件類型本質(zhì)上只是約定俗成的規(guī)則——而除了嘗試用相應(yīng)的解碼器去讀取文件之外，并不存在一種標(biāo)準(zhǔn)的方法可以確定文件的真實(shí)類型。

你可以通過(guò)執(zhí)行以下命令來(lái) 安裝 Magika 的命令行工具：

curl -LsSf https://securityresearch.google/magika/install.sh | sh

或者通過(guò)安裝包含 CLI 工具的 Python 包來(lái)使用：

pipx install magika

https://www.infoq.com/news/2025/12/magika-rust-file-type-detector/

聲明：本文為 InfoQ 翻譯，未經(jīng)許可禁止轉(zhuǎn)載。