作者 ｜ Leela Kumili

譯者 ｜ 田橙

Meta 報(bào)告稱，通過一種 即時(shí)（Just-in-Time，JiT）測試方法 提升了軟件質(zhì)量。該方法在代碼評審期間動(dòng)態(tài)生成測試，而不是依賴長期存在、需要人工維護(hù)的測試套件。根據(jù) Meta 的工程博客及相關(guān)研究，這一方法在 AI 輔助開發(fā)環(huán)境中將缺陷檢測能力提升了約 4 倍。

這一轉(zhuǎn)變源于代理式工作流的興起，在這種工作流中，AI 系統(tǒng)越來越多地生成或修改大段代碼。在這種環(huán)境下，傳統(tǒng)測試套件面臨更高的維護(hù)開銷且效果下降，因?yàn)榇嗳醯臄嘌院瓦^時(shí)的覆蓋率難以及時(shí)跟上快速變化。

正如 ICT 系統(tǒng)測試工程師 Ankit K. 所 觀察到的：

AI 生成代碼和測試的速度已經(jīng)超過了人類的維護(hù)能力，JiT 測試因此幾乎成了必然選擇。

JiT 測試通過在拉取請求階段基于具體代碼差異生成測試來解決這一問題。與靜態(tài)驗(yàn)證不同，該系統(tǒng)會(huì)推斷開發(fā)者意圖，識(shí)別潛在的失效模式，并構(gòu)建有針對性的測試，在存在回歸問題時(shí)使其失敗。它專注于捕獲回歸的測試——這些測試在提議的更改上失敗，但在父版本上通過。這是通過一個(gè)結(jié)合大語言模型、程序分析和變異測試的流水線實(shí)現(xiàn)的，其中會(huì)注入合成缺陷以驗(yàn)證生成的測試是否能夠檢測到它們。

正如 Meta 研究科學(xué)家 Mark Harman 所 指出 的：

這項(xiàng)工作體現(xiàn)了一種根本性的轉(zhuǎn)變：不再只是讓現(xiàn)有測試更穩(wěn)，而是轉(zhuǎn)向去發(fā)現(xiàn)未來可能出現(xiàn)的問題。

一個(gè)關(guān)鍵組件是 Dodgy Diff 與意圖感知工作流架構(gòu)，它將代碼變更重新定義為語義信號，而非文本差異。系統(tǒng)會(huì)分析 diff，以提取行為意圖和風(fēng)險(xiǎn)區(qū)域，然后執(zhí)行意圖重建和變更風(fēng)險(xiǎn)建模，以理解哪些內(nèi)容可能因此而出錯(cuò)。這些信號被輸入到變異引擎中，生成“可疑”的代碼變體，用以模擬真實(shí)的失敗場景。隨后，一個(gè)基于 LLM 的測試合成層會(huì)生成與推斷意圖一致的測試，并通過過濾去除噪聲或低價(jià)值測試，最終在拉取請求中呈現(xiàn)結(jié)果。

Meta 報(bào)告稱，通過一種 即時(shí)（Just-in-Time，JiT）測試方法 提升了軟件質(zhì)量。該方法在代碼評審期間動(dòng)態(tài)生成測試，而不是依賴長期存在、需要人工維護(hù)的測試套件。根據(jù) Meta 的工程博客及相關(guān)研究，這一方法在 AI 輔助開發(fā)環(huán)境中將缺陷檢測能力提升了約 4 倍。

這一轉(zhuǎn)變源于代理式工作流的興起，在這種工作流中，AI 系統(tǒng)越來越多地生成或修改大段代碼。在這種環(huán)境下，傳統(tǒng)測試套件面臨更高的維護(hù)開銷且效果下降，因?yàn)榇嗳醯臄嘌院瓦^時(shí)的覆蓋率難以及時(shí)跟上快速變化。

正如 ICT 系統(tǒng)測試工程師 Ankit K. 所 觀察到的：

AI 生成代碼和測試的速度已經(jīng)超過了人類的維護(hù)能力，JiT 測試因此幾乎成了必然選擇。

JiT 測試通過在拉取請求階段基于具體代碼差異生成測試來解決這一問題。與靜態(tài)驗(yàn)證不同，該系統(tǒng)會(huì)推斷開發(fā)者意圖，識(shí)別潛在的失效模式，并構(gòu)建有針對性的測試，在存在回歸問題時(shí)使其失敗。它專注于捕獲回歸的測試——這些測試在提議的更改上失敗，但在父版本上通過。這是通過一個(gè)結(jié)合大語言模型、程序分析和變異測試的流水線實(shí)現(xiàn)的，其中會(huì)注入合成缺陷以驗(yàn)證生成的測試是否能夠檢測到它們。

正如 Meta 研究科學(xué)家 Mark Harman 所 指出 的：

這項(xiàng)工作體現(xiàn)了一種根本性的轉(zhuǎn)變：不再只是讓現(xiàn)有測試更穩(wěn)，而是轉(zhuǎn)向去發(fā)現(xiàn)未來可能出現(xiàn)的問題。

一個(gè)關(guān)鍵組件是 Dodgy Diff 與意圖感知工作流架構(gòu)，它將代碼變更重新定義為語義信號，而非文本差異。系統(tǒng)會(huì)分析 diff，以提取行為意圖和風(fēng)險(xiǎn)區(qū)域，然后執(zhí)行意圖重建和變更風(fēng)險(xiǎn)建模，以理解哪些內(nèi)容可能因此而出錯(cuò)。這些信號被輸入到變異引擎中，生成“可疑”的代碼變體，用以模擬真實(shí)的失敗場景。隨后，一個(gè)基于 LLM 的測試合成層會(huì)生成與推斷意圖一致的測試，并通過過濾去除噪聲或低價(jià)值測試，最終在拉取請求中呈現(xiàn)結(jié)果。

Dodgy diff 和意圖感知工作流用于生成即時(shí)捕獲（Just-in-Time Catches）的架構(gòu)

Meta 表示，該系統(tǒng)在超過 22,000 個(gè)生成測試上進(jìn)行了評估。結(jié)果顯示，與基線生成測試相比，缺陷檢測能力提升了 4 倍；與偶然結(jié)果相比，在檢測有意義失敗方面最高提升達(dá) 20 倍。在一個(gè)評估子集中，共識(shí)別出 41 個(gè)問題，其中 8 個(gè)被確認(rèn)是真實(shí)缺陷，包括若干可能影響生產(chǎn)環(huán)境的問題。

Mark Harman 在另一篇 LinkedIn 帖子 中強(qiáng)調(diào)：

變異測試在學(xué)術(shù)圈沉寂了幾十年之后，終于開始走向工業(yè)界，并正在重塑實(shí)用且可擴(kuò)展的軟件測試 2.0。

捕獲型 JiT 測試專為 AI 驅(qū)動(dòng)的開發(fā)設(shè)計(jì)，按每次變更生成，用于在無需持續(xù)維護(hù)的情況下檢測嚴(yán)重且意外的缺陷。它們通過隨著代碼演進(jìn)自動(dòng)適配并將工作從人類轉(zhuǎn)移到機(jī)器，從而減少脆弱的測試套件。只有在發(fā)現(xiàn)有意義的問題時(shí)才需要人工審查。這將測試從靜態(tài)正確性驗(yàn)證重新定義為面向特定變更的故障檢測。

https://www.infoq.com/news/2026/04/meta-jit-testing-ai-detection/

聲明：本文由 InfoQ 翻譯，未經(jīng)許可禁止轉(zhuǎn)載。

會(huì)議推薦

世界模型的下一個(gè)突破在哪？Agent 從 Demo 到工程化還差什么？安全與可信這道坎怎么過？研發(fā)體系不重構(gòu)，還能撐多久？

AICon 上海站 2026，4 大核心專題等你來：世界模型與多模態(tài)智能突破、Agent 架構(gòu)與工程化實(shí)踐、Agent 安全與可信治理、企業(yè)級研發(fā)體系重構(gòu)。14 個(gè)專題全面開放征稿。

誠摯邀請你登臺(tái)分享實(shí)戰(zhàn)經(jīng)驗(yàn)。AICon 2026，期待與你同行。

今日薦文

你也「在看」嗎？