過去一年，大模型寫代碼的能力幾乎以肉眼可見的速度提升。從簡單腳本到完整功能模塊，GPT、Claude、DeepSeek 等模型已經(jīng)能夠在幾秒鐘內(nèi)生成看起來相當(dāng) “專業(yè)” 的代碼。

這種能力的提升，讓很多人開始認(rèn)真思考一個(gè)問題：AI 能不能真正參與到軟件工程的核心流程中？

但越接近真實(shí)開發(fā)，這個(gè)問題就越顯得復(fù)雜。因?yàn)樵诠I(yè)界，“寫出一段能跑的代碼” 遠(yuǎn)遠(yuǎn)不夠。

代碼是否能被合并，取決于它能否通過完整的持續(xù)集成（Continuous Integration，簡稱 CI）流水線——這是一種在代碼開發(fā)過程中，通過自動化的構(gòu)建、測試和代碼檢查，確保每一次改動都能在真實(shí)工程環(huán)境下穩(wěn)定運(yùn)行的機(jī)制。

此外，代碼還需符合項(xiàng)目規(guī)范、經(jīng)得起代碼審查，并在多輪修改中保持穩(wěn)定可靠。遺憾的是，現(xiàn)有主流代碼評測基準(zhǔn)，幾乎都停留在“能否通過幾個(gè)單元測試”的層面。

SwingArena 的出發(fā)點(diǎn)，正是填補(bǔ)這塊長期缺失的評測空白。

該論文已被ICLR 2026正式接收。目前，SwingArena 已實(shí)現(xiàn)全棧開源。

• 論文標(biāo)題：SwingArena: Competitive Programming Arena for Long-context GitHub Issue Solving
  
• 論文鏈接：https://arxiv.org/abs/2505.23932
• 項(xiàng)目鏈接：https://swing-bench.github.io/

從 “寫對代碼” 到 “通過審查”，

評測邏輯需要一次轉(zhuǎn)向

在傳統(tǒng)評測中，模型面對的是一個(gè)高度簡化的問題：給定函數(shù)簽名和說明，只要輸出能通過測試的實(shí)現(xiàn)即可。這種設(shè)定對于衡量基礎(chǔ)編程能力是有效的，但它忽略了真實(shí)軟件開發(fā)中最關(guān)鍵的一環(huán) ——審查與迭代。

在現(xiàn)實(shí)中，一段代碼往往要經(jīng)歷多個(gè)回合的反饋與修改，才能最終被接受。CI 系統(tǒng)會自動檢查編譯、測試、代碼風(fēng)格和潛在風(fēng)險(xiǎn)，而審查者則會從邏輯正確性、邊界情況和可維護(hù)性等角度不斷提出質(zhì)疑。這種過程，本質(zhì)上是一種持續(xù)博弈。

SwingArena 將這種博弈引入評測之中。它不再讓模型 “單打獨(dú)斗”，而是通過對抗式設(shè)定，讓兩個(gè)模型分別扮演 “提交者” 和 “審查者”，在真實(shí) CI 環(huán)境中反復(fù)交鋒。

提交者需要寫出足夠穩(wěn)健的補(bǔ)丁才能通過流水線，而審查者則試圖通過精心設(shè)計(jì)的測試暴露潛在問題。最終的得分，完全由真實(shí)執(zhí)行結(jié)果決定。

真實(shí)工程環(huán)境，意味著真實(shí)復(fù)雜度

要讓評測真正貼近工業(yè)場景，僅有對抗機(jī)制還不夠。另一個(gè)更現(xiàn)實(shí)的挑戰(zhàn)在于：真實(shí)項(xiàng)目的代碼規(guī)模，遠(yuǎn)遠(yuǎn)超出了大模型的上下文窗口。

一個(gè)常見的開源倉庫往往包含數(shù)萬行代碼，分布在數(shù)百個(gè)文件中。模型不可能 “通讀全庫”，只能在極其有限的上下文中做判斷。SwingArena 因此設(shè)計(jì)了一套完整的檢索增強(qiáng)流水線 RACG（Retrieval-Augmented Code Generation），試圖在 “給模型多少代碼” 與 “給對代碼” 之間取得平衡。

RACG 的核心思路，是先通過經(jīng)典信息檢索方法快速縮小文件范圍，再以語法結(jié)構(gòu)為單位對代碼進(jìn)行切塊，并使用語義模型進(jìn)行精排。在嚴(yán)格的 token 預(yù)算下，系統(tǒng)會動態(tài)調(diào)整上下文粒度，確保模型看到的是最關(guān)鍵、最相關(guān)的代碼片段，而不是噪聲。

消融實(shí)驗(yàn)顯示，這種分層檢索策略，能夠顯著提升補(bǔ)丁定位的準(zhǔn)確率，相比僅使用關(guān)鍵詞匹配，Top-10 命中率提升超過一倍。這意味著模型不只是 “寫代碼”，而是在更接近人類工程師的認(rèn)知范圍內(nèi)工作。

當(dāng)模型真正對抗，差異才開始顯現(xiàn)

在 SwingArena 的評測中，一個(gè)有趣的現(xiàn)象逐漸浮現(xiàn)：不同模型在工程決策上的 “性格差異”，被前所未有地放大了。

以 GPT-4o 為例，它在提交者角色中表現(xiàn)得極為激進(jìn)，往往能夠快速生成足以擊敗對手測試的補(bǔ)丁，因此勝率很高。但這種策略的代價(jià)是 CI 通過率并不穩(wěn)定，代碼在規(guī)范性和魯棒性上更容易出現(xiàn)問題。

相比之下，DeepSeek 和 Gemini 的表現(xiàn)則明顯更為保守。它們生成的代碼風(fēng)格更加規(guī)范，通過 CI 的概率也更高，尤其在多語言場景下展現(xiàn)出更強(qiáng)的穩(wěn)定性。這類差異，在傳統(tǒng)基準(zhǔn)中往往被 “平均分” 所掩蓋，而在對抗式評測中卻變得非常直觀。

更重要的是，這些結(jié)果為實(shí)際應(yīng)用提供了清晰的參考：當(dāng)目標(biāo)是快速原型和探索性開發(fā)時(shí)，激進(jìn)策略可能更有效；而在生產(chǎn)環(huán)境和長期項(xiàng)目中，穩(wěn)定性顯然更重要。

從評測到實(shí)踐：

為什么 SwingArena 值得被重視

SwingArena 的意義，并不僅僅在于提出了一個(gè)新的 benchmark。它更重要的價(jià)值，在于推動了一次評測視角的轉(zhuǎn)變：從 “功能正確性” 走向 “工程可用性”。

通過將 CI 流水線、代碼審查和多輪迭代引入評測過程，SwingArena 讓我們第一次能夠系統(tǒng)性地回答這樣的問題：哪些模型真的適合進(jìn)入生產(chǎn)環(huán)境？在不同工程場景下，應(yīng)該如何選擇和使用它們？又該如何設(shè)計(jì)更符合現(xiàn)實(shí)需求的 AI 編程助手？

在論文匿名期結(jié)束后，SwingArena 將完整開源，包括數(shù)據(jù)集、評測框架、檢索流水線以及所有實(shí)驗(yàn)復(fù)現(xiàn)代碼。團(tuán)隊(duì)希望，這套框架不僅能成為研究者比較模型的新工具，也能為工業(yè)界評估和落地 AI 編程能力提供參考。

當(dāng) AI 生成的代碼真正走進(jìn) CI 流水線，評測的標(biāo)準(zhǔn)，也必須隨之升級。

SwingArena，正是向這個(gè)方向邁出的一步。