在 Princeton 發(fā)布 SWE-Bench 之后，用真實(shí)世界代碼倉(cāng)庫(kù)+可執(zhí)行測(cè)試評(píng)測(cè)大模型軟件工程能力，幾乎已成為學(xué)術(shù)界與工業(yè)界的共識(shí)。圍繞 SWE issue 的評(píng)測(cè)范式迅速發(fā)展，也催生了一系列 SWE 系列 benchmark，在刻畫(huà)模型 bug 修復(fù)能力方面發(fā)揮了重要作用。

但真實(shí)的軟件工程實(shí)踐并不止于修 bug。大量關(guān)鍵工作發(fā)生在feature 級(jí)別的 End-to-End 開(kāi)發(fā)中：它往往意味著更長(zhǎng)的代碼路徑、更復(fù)雜的跨文件依賴，以及對(duì)長(zhǎng)期上下文與整體系統(tǒng)行為的理解。也就是說(shuō)，能修 bug 并不意味著能交付一個(gè)完整的 feature。

為填補(bǔ)這一空白，中國(guó)科學(xué)院自動(dòng)化研究所聯(lián)合華為聚焦Test-Driven的評(píng)測(cè)范式，提出了FeatureBench（Benchmarking Agentic Coding in End-to-End Development of Complex Features），并構(gòu)建了一整套覆蓋數(shù)據(jù)構(gòu)建、推理與評(píng)測(cè)的端到端基礎(chǔ)設(shè)施。數(shù)據(jù)、管線代碼與執(zhí)行鏡像均已完整開(kāi)源，旨在為評(píng)估與推動(dòng)更強(qiáng)、更全面的 agentic coding 模型提供新的基準(zhǔn)。

• 論文標(biāo)題：FeatureBench: Benchmarking Agentic Coding for Complex Feature Development
• 項(xiàng)目主頁(yè)：https://libercoders.github.io/FeatureBench/
• arXiv 論文：https://arxiv.org/abs/2602.10975
• Hugging Face 數(shù)據(jù)集：https://huggingface.co/datasets/LiberCoders/FeatureBench
• GitHub 代碼庫(kù)：https://github.com/LiberCoders/FeatureBench
• Docker 鏡像：https://hub.docker.com/u/libercoders

「高精準(zhǔn)度」

動(dòng)態(tài)追蹤驅(qū)動(dòng)的精準(zhǔn) feature 級(jí)代碼抽取

FeatureBench 的任務(wù)構(gòu)造以真實(shí)代碼倉(cāng)庫(kù)中的單元測(cè)試作為切入點(diǎn)。在成熟的軟件工程中，單元測(cè)試往往覆蓋完整的功能路徑或其關(guān)鍵組成部分，并隱式刻畫(huà)了 feature 的行為邊界與實(shí)現(xiàn)假設(shè)，因此天然適合作為定位 feature 行為范圍的自然入口。

不同于僅將單元測(cè)試作為結(jié)果評(píng)估手段的既有評(píng)測(cè)方式，F(xiàn)eatureBench 在任務(wù)構(gòu)造階段便引入單元測(cè)試，用其反向定位并抽取與目標(biāo) feature 強(qiáng)相關(guān)的實(shí)現(xiàn)代碼，從而形成要求 Code Agent 補(bǔ)全 feature 本身的評(píng)測(cè)任務(wù)。具體而言，系統(tǒng)會(huì)首先在真實(shí)代碼倉(cāng)庫(kù)中自動(dòng)發(fā)現(xiàn)并篩選可執(zhí)行的單元測(cè)試，將這些單元測(cè)試所測(cè)內(nèi)容視為任務(wù)的目標(biāo) feature，作為后續(xù)的Fail-to-Pass（F2P）；與此同時(shí)，引入Pass-to-Pass（P2P）測(cè)試，用于約束任務(wù)構(gòu)造過(guò)程中對(duì)非目標(biāo)功能的潛在破壞。

在測(cè)試執(zhí)行過(guò)程中，F(xiàn)eatureBench 利用動(dòng)態(tài)追蹤技術(shù)，從 F2P 單元測(cè)試出發(fā)，捕獲執(zhí)行測(cè)試路徑上的函數(shù)調(diào)用與對(duì)象依賴關(guān)系，并在對(duì)象粒度上對(duì)相關(guān)實(shí)現(xiàn)進(jìn)行標(biāo)注與分類(lèi)。隨后，系統(tǒng)僅會(huì)抽取并移除既與 F2P 測(cè)試強(qiáng)相關(guān)、又不會(huì)影響 P2P 測(cè)試持續(xù)通過(guò)的實(shí)現(xiàn)代碼，其余部分保持不變。而被移除的代碼的接口，簽名等信息則通過(guò)規(guī)則自動(dòng)從原聲代碼抽取，并在后續(xù)作為任務(wù)描述的一部分提供給模型。

這里需要強(qiáng)調(diào)的是，研究團(tuán)隊(duì)在構(gòu)造評(píng)測(cè)任務(wù)之初，便考慮到了 featrue 級(jí)實(shí)現(xiàn)任務(wù)接口模糊可能導(dǎo)致的任務(wù)不可解的問(wèn)題——對(duì)于feature開(kāi)發(fā)問(wèn)題，若給 Agent 的任務(wù)描述本身是模糊的自然語(yǔ)言，則極有可能出現(xiàn) Agent實(shí)現(xiàn)了邏輯等價(jià)的功能，但因?yàn)榻涌诓黄ヅ涞膯?wèn)題而無(wú)法通過(guò)已經(jīng)固定的單元測(cè)試的情況。

因此在每條任務(wù)中，F(xiàn)eatureBench 都提供了原生codebase的接口描述。所有接口簽名均通過(guò)規(guī)則自動(dòng)抽取自原生 codebase。對(duì)于那些原生codebase缺少接口描述的任務(wù)，例如某些案例中的接口簽名下缺少詳細(xì)的docstring，F(xiàn)eatureBench 構(gòu)建了一套自動(dòng)化的工作流，讓大模型根據(jù)設(shè)定好的必要信息去合成詳細(xì)的接口描述。所有合成的接口描述均在后續(xù)進(jìn)行了人工檢驗(yàn)。

通過(guò)這一過(guò)程，F(xiàn)eatureBench 構(gòu)造得到的是一類(lèi)更接近真實(shí)開(kāi)發(fā)場(chǎng)景的評(píng)測(cè)任務(wù)：模型需要在保持所有 P2P 通過(guò)的前提下，僅依據(jù)給定的接口描述與倉(cāng)庫(kù)上下文信息，補(bǔ)全缺失的 feature 實(shí)現(xiàn)。

從單元測(cè)試出發(fā)，結(jié)合動(dòng)態(tài)追蹤定位 feature 相關(guān)對(duì)象，抽取并移除實(shí)現(xiàn)，生成缺失版本代碼庫(kù)與 gold patch，并在沙盒環(huán)境中執(zhí)行評(píng)測(cè)。

「強(qiáng)可執(zhí)行性」

基于錯(cuò)誤歷史回溯的任務(wù)構(gòu)造機(jī)制

然而，在真實(shí)代碼庫(kù)中直接移除實(shí)現(xiàn)代碼，往往會(huì)引入非常多困難且復(fù)雜的工程問(wèn)題。復(fù)雜系統(tǒng)中存在大量隱式依賴、初始化邏輯與運(yùn)行時(shí)假設(shè)，一旦相關(guān)代碼被刪除，程序甚至可能在單元測(cè)試執(zhí)行之前就已無(wú)法啟動(dòng)，導(dǎo)致構(gòu)造出的任務(wù)失去可執(zhí)行性。

為解決這一問(wèn)題，F(xiàn)eatureBench 首次在任務(wù)構(gòu)造過(guò)程中引入了錯(cuò)誤歷史回溯機(jī)制，將 “可執(zhí)行性” 作為代碼抽取過(guò)程中的硬約束，用于保障代碼抽取過(guò)程的穩(wěn)定性與可執(zhí)行性。系統(tǒng)會(huì)在每一次抽取操作后記錄可回溯的中間狀態(tài)，并即時(shí)驗(yàn)證任務(wù)的可執(zhí)行性；一旦發(fā)現(xiàn)刪除某一部分代碼導(dǎo)致程序無(wú)法運(yùn)行、測(cè)試環(huán)境失效、或 P2P 測(cè)試失敗，構(gòu)造流程將自動(dòng)回退至最近一次可正常執(zhí)行的狀態(tài)，并據(jù)此重新調(diào)整后續(xù)的抽取策略。

通過(guò)這一機(jī)制，F(xiàn)eatureBench 能夠在無(wú)需人工干預(yù)的前提下，逐步收斂，穩(wěn)定完成 feature 相關(guān)實(shí)現(xiàn)的抽取，確保每一個(gè)生成的評(píng)測(cè)實(shí)例均滿足 “可執(zhí)行、可驗(yàn)證” 的基本要求。這使得在真實(shí)代碼倉(cāng)庫(kù)中大規(guī)模、持續(xù)的自動(dòng)化任務(wù)構(gòu)造成為可能。

「強(qiáng)驗(yàn)證機(jī)制」

由目標(biāo)對(duì)齊、驗(yàn)證閉環(huán)與長(zhǎng)鏈路復(fù)雜性構(gòu)成的評(píng)測(cè)約束

在復(fù)雜 feature 的評(píng)測(cè)中，“更難” 往往并不意味著 “更可靠”。一些現(xiàn)有基準(zhǔn)雖然引入了真實(shí)倉(cāng)庫(kù)和較長(zhǎng)代碼路徑，但評(píng)測(cè)結(jié)果仍然容易受到多種噪聲干擾：

一方面，評(píng)測(cè)目標(biāo)通常依賴人工接口或自然語(yǔ)言描述，從而不同模型對(duì)實(shí)現(xiàn)目標(biāo)形成不同理解，導(dǎo)致評(píng)測(cè)結(jié)果混合了能力差異與任務(wù)理解偏差。

另一方面，現(xiàn)有工作對(duì)于抽取出來(lái)的 feature 是否真正可驗(yàn)證可執(zhí)行往往并不透明：模型的失敗可能來(lái)自無(wú)關(guān)功能被破壞、依賴鏈被意外切斷，而非 feature 本身尚未實(shí)現(xiàn)，使得評(píng)測(cè)分?jǐn)?shù)難以反映真實(shí)的 feature 開(kāi)發(fā)能力。

此外，為了控制難度或保證可執(zhí)行性，任務(wù)構(gòu)造過(guò)程中常會(huì)對(duì)真實(shí)代碼路徑與依賴關(guān)系進(jìn)行裁剪，使得看似復(fù)雜的任務(wù)在實(shí)際實(shí)現(xiàn)中并不包含真實(shí)系統(tǒng)中的長(zhǎng)程依賴，進(jìn)一步削弱了評(píng)測(cè)結(jié)果的指示意義。

針對(duì)以上這些問(wèn)題，F(xiàn)eatureBench 并未通過(guò)額外設(shè)計(jì)規(guī)則或人工后處理篩選，而是將噪聲控制前移到任務(wù)構(gòu)造階段。首次通過(guò)在真實(shí)代碼倉(cāng)庫(kù)中施加三重約束，在保證任務(wù)復(fù)雜性的同時(shí)，使評(píng)測(cè)結(jié)果更穩(wěn)定、可對(duì)齊，更具可解釋性。

1) 目標(biāo)對(duì)齊（評(píng)測(cè)的公平性）：

FeatureBench 中所有頂層對(duì)象的接口簽名均通過(guò)規(guī)則自動(dòng)抽取自原生 codebase，而非人工編寫(xiě)或模型生成。由于接口定義直接來(lái)源于真實(shí)實(shí)現(xiàn)，這一設(shè)計(jì)顯著降低了由人為抽象或描述不一致所引入的實(shí)現(xiàn)歧義，使不同模型在評(píng)測(cè)時(shí)面對(duì)的是同一組、可精確定義的功能目標(biāo)，而非依賴對(duì)任務(wù)意圖的主觀理解。

2) 驗(yàn)證閉環(huán)（評(píng)測(cè)的完備性）：

FeatureBench 對(duì)每一個(gè)任務(wù)均施加嚴(yán)格的先驗(yàn)與后驗(yàn)驗(yàn)證約束。即在代碼抽取前，所有 F2P/P2P 測(cè)試必須全部通過(guò)；在代碼抽取后，F(xiàn)2P 測(cè)試的通過(guò)率需低于預(yù)設(shè)閾值，而所有 P2P 測(cè)試必須保持全通過(guò)。這一雙階段驗(yàn)證機(jī)制確保：被移除的實(shí)現(xiàn)確實(shí)構(gòu)成目標(biāo) feature 的核心組成部分，同時(shí)任務(wù)難度來(lái)源于對(duì) feature 實(shí)現(xiàn)本身的還原，而非由不受控的代碼破壞或偶然失效引入的偽難度。

3) 長(zhǎng)鏈路復(fù)雜性（評(píng)測(cè)的長(zhǎng)程性）：

FeatureBench 的任務(wù)構(gòu)造遵循從單元測(cè)試 → 頂層對(duì)象 → 關(guān)聯(lián)對(duì)象與深層依賴的逐級(jí)展開(kāi)過(guò)程。頂層接口僅刻畫(huà)了 feature 的外部行為，其背后往往對(duì)應(yīng)大量跨文件、跨對(duì)象的實(shí)現(xiàn)細(xì)節(jié)與隱式依賴關(guān)系。

因此，F(xiàn)eatureBench 中的任務(wù)通常涉及更長(zhǎng)的代碼路徑與更廣泛的修改范圍，對(duì) agent 的長(zhǎng)程推理能力、系統(tǒng)級(jí)理解能力以及對(duì)既有行為約束的整體把握提出了更高要求。

「高復(fù)雜度」

面向真實(shí) feature 的大規(guī)?？蓤?zhí)行評(píng)測(cè)實(shí)例

基于上述自動(dòng)化數(shù)據(jù)構(gòu)建管線，研究團(tuán)隊(duì)在3天之內(nèi)，系統(tǒng)性構(gòu)建了3825個(gè)可執(zhí)行的沙盒環(huán)境與候選任務(wù)實(shí)例。覆蓋24個(gè)真實(shí)世界、覆蓋不同應(yīng)用場(chǎng)景且具有廣泛影響力的 GitHub 倉(cāng)庫(kù)。所有實(shí)例均可直接運(yùn)行，為后續(xù)篩選與評(píng)測(cè)提供了統(tǒng)一的可執(zhí)行基礎(chǔ)。

在此基礎(chǔ)上，通過(guò)進(jìn)一步施加統(tǒng)一的篩選約束，包括代碼時(shí)間范圍（2022 年 5 月之后）、測(cè)試覆蓋強(qiáng)度（測(cè)試點(diǎn)數(shù)量大于 10）以及 feature 抽取規(guī)模（抽取代碼行數(shù)超過(guò) 100 行），以確保任務(wù)在復(fù)雜度與代表性上的一致性。并經(jīng)過(guò)人工 verified 驗(yàn)證，最終確定了 FeatureBench 的正式評(píng)測(cè)數(shù)據(jù)集：

• FeatureBench Full：包含200條評(píng)測(cè)任務(wù)。單任務(wù)最多抽取4495行代碼，單任務(wù)最多涉及76份不同代碼文件。
• FeatureBench Lite：從 Full 集中進(jìn)一步篩選30條任務(wù)，作為低成本評(píng)測(cè)子集，便于社區(qū)進(jìn)行快速對(duì)比實(shí)驗(yàn)與方法迭代。

整體來(lái)看，F(xiàn)eatureBench Full 中的任務(wù)在代碼規(guī)模、依賴廣度與測(cè)試約束強(qiáng)度上，均顯著高于典型的 bug-fixing benchmark，更貼近真實(shí)工程環(huán)境中 feature 級(jí)開(kāi)發(fā)的復(fù)雜度分布。

FeatureBench 的復(fù)雜度顯著高于典型 bug-fixing benchmark，覆蓋跨文件、跨對(duì)象、長(zhǎng)程依賴的真實(shí) feature 實(shí)現(xiàn)。

「高區(qū)分度」

Feature 級(jí)任務(wù)評(píng)測(cè)重新拉開(kāi)模型能力差距

研究團(tuán)隊(duì)在 FeatureBench 上對(duì)多種主流 agent 框架（包括 OpenHands、Codex、Gemini-CLI、Claude Code 等）與多種模型配置（Opus 4.5、GPT-5.1-Codex、Gemini-3-Pro、Qwen-3-Coder-480B-A35B-Instruct、DeepSeek-V3.2 等）進(jìn)行了系統(tǒng)評(píng)測(cè)。

評(píng)測(cè)結(jié)果顯示，在以 bug fixing 為核心的 SWE-Bench 場(chǎng)景中，主流高性能模型的整體表現(xiàn)已呈現(xiàn)出明顯的能力收斂趨勢(shì)：不同模型之間的 resolved rate 差距相對(duì)有限，難以進(jìn)一步刻畫(huà)其在更復(fù)雜工程任務(wù)中的能力差異。

相比之下，當(dāng)評(píng)測(cè)任務(wù)推進(jìn)到 feature 級(jí)端到端開(kāi)發(fā)時(shí)，模型與 agent 之間的差距被顯著放大。以 Claude Opus 為例，其在 SWE-Bench Verified 上的 resolved rate 已達(dá)到74.4%，而在 FeatureBench Full 上的解決率為11%；與此同時(shí)，其他模型在 FeatureBench 上的表現(xiàn)分化更為明顯，呈現(xiàn)出遠(yuǎn)高于 SWE-Bench 場(chǎng)景的區(qū)分度。

這一現(xiàn)象表明，F(xiàn)eatureBench 并非簡(jiǎn)單地提高了任務(wù)難度，而是通過(guò)引入跨文件、跨對(duì)象的長(zhǎng)程依賴結(jié)構(gòu)，以及嚴(yán)格的 P2P 約束，將評(píng)測(cè)焦點(diǎn)從局部缺陷修復(fù)能力推進(jìn)到系統(tǒng)性 feature 交付能力。在這一設(shè)定下，即便在 bug fixing 任務(wù)中表現(xiàn)接近的模型，也會(huì)在 feature 級(jí)開(kāi)發(fā)能力上呈現(xiàn)出明顯差異。

Bug Fixing 任務(wù)上前沿模型能力已收斂，但 Feature 級(jí)任務(wù)中仍體現(xiàn)出能力分化

Lite 數(shù)據(jù)集上的模型表現(xiàn)

「高易用性」

一行命令啟動(dòng) FeatureBench 的完整評(píng)測(cè)流程

為降低 FeatureBench 的復(fù)現(xiàn)與評(píng)測(cè)門(mén)檻，并支持學(xué)術(shù)界與工業(yè)界的實(shí)際使用，研究團(tuán)隊(duì)同步開(kāi)源了一套覆蓋推理、評(píng)測(cè)與數(shù)據(jù)構(gòu)建的完整基礎(chǔ)設(shè)施。通過(guò)統(tǒng)一的運(yùn)行環(huán)境與標(biāo)準(zhǔn)化配置，用戶無(wú)需繁瑣的環(huán)境搭建或手動(dòng)拼裝流程，即可在本地或集群中一鍵啟動(dòng)完整評(píng)測(cè)流程，從推理執(zhí)行到結(jié)果統(tǒng)計(jì)實(shí)現(xiàn)端到端復(fù)現(xiàn)。在這一設(shè)計(jì)下，F(xiàn)eatureBench 不再只是一個(gè)靜態(tài)數(shù)據(jù)集，而是一個(gè)可長(zhǎng)期演進(jìn)、可持續(xù)擴(kuò)展的評(píng)測(cè)平臺(tái)。

推理模塊（Inference）：多 Agent 框架的統(tǒng)一入口

FeatureBench 提供了統(tǒng)一的 agent 抽象接口，對(duì)主流代碼 agent 框架進(jìn)行了標(biāo)準(zhǔn)化適配，包括 Claude Code、Codex、Gemini-CLI、OpenHands 以及 Mini-SWE-Agent 等。用戶只需進(jìn)行最小化配置，即可將自定義 agent 接入現(xiàn)有管線，并在統(tǒng)一環(huán)境中完成大規(guī)模推理實(shí)驗(yàn)。

該模塊同時(shí)內(nèi)置了斷點(diǎn)續(xù)傳、并發(fā)執(zhí)行、網(wǎng)絡(luò)代理與資源控制等機(jī)制，使長(zhǎng)時(shí)間、多配置的推理任務(wù)能夠通過(guò)單一命令穩(wěn)定運(yùn)行，顯著降低實(shí)驗(yàn)管理成本。

評(píng)測(cè)模塊（Evaluation）：執(zhí)行即評(píng)測(cè)

以實(shí)際測(cè)試執(zhí)行結(jié)果為唯一依據(jù)，對(duì)模型生成的代碼補(bǔ)丁進(jìn)行自動(dòng)化評(píng)測(cè)，嚴(yán)格統(tǒng)計(jì) F2P/P2P 測(cè)試的通過(guò)情況，確保不同模型與 agent 的評(píng)測(cè)結(jié)果具有良好的可復(fù)現(xiàn)性與可比性。

數(shù)據(jù)構(gòu)建管線（Data Pipeline）：任務(wù)可自動(dòng)生成、持續(xù)擴(kuò)展

完整開(kāi)源了 FeatureBench 的原生任務(wù)生成流程，覆蓋從代碼倉(cāng)庫(kù)拉取、單元測(cè)試發(fā)現(xiàn)與篩選、動(dòng)態(tài)追蹤、頂層對(duì)象識(shí)別、P2P 測(cè)試選擇，到對(duì)象級(jí)代碼抽取與后驗(yàn)驗(yàn)證的全鏈路步驟。借助該管線，F(xiàn)eatureBench可以在無(wú)需人工干預(yù)的情況下持續(xù)、自動(dòng)、可驗(yàn)證地生成新的任務(wù)。

結(jié)語(yǔ)

FeatureBench 是 Code Agent 評(píng)測(cè)領(lǐng)域的一次關(guān)鍵突破：FeatureBench 系統(tǒng)性地將 agentic coding 的評(píng)測(cè)范式，從“短 patch、少文件、單 PR 的 bug fixing”，推進(jìn)到了“跨文件、跨對(duì)象、長(zhǎng)程依賴的真實(shí) feature 開(kāi)發(fā)”。更重要的是，F(xiàn)eatureBench 通過(guò) test-driven 的自動(dòng)化任務(wù)構(gòu)造流程，在保證公平性與完備性的同時(shí)，大幅提升任務(wù)復(fù)雜度，并為 benchmark 的持續(xù)擴(kuò)展與防數(shù)據(jù)污染提供了一條可行路徑。

同時(shí)，F(xiàn)eatureBench作為一套面向真實(shí)軟件工程場(chǎng)景的可執(zhí)行數(shù)據(jù)生成與驗(yàn)證基礎(chǔ)設(shè)施，將為后續(xù) Agent 訓(xùn)練與強(qiáng)化學(xué)習(xí)提供數(shù)據(jù)支持。