始智AI wisemodel.cn社區(qū)是源自中國的中立開放的AI開源社區(qū)。正在，歡迎加入共同成長。

隨著大語言模型（LLMs）在復(fù)雜編碼和推理任務(wù)中的飛速進步，傳統(tǒng)編程基準(zhǔn)已難以跟上其發(fā)展步伐?，F(xiàn)有測試要么難度不足，要么評估方式脫離實際場景，無法精準(zhǔn)衡量模型的 “慢思考” 和迭代優(yōu)化能力。近日，中國人民大學(xué)高瓴人工智能學(xué)院團隊推出 ICPC-Eval 基準(zhǔn)測試，以頂級編程競賽題目為核心，創(chuàng)新評估機制與本地測試工具，為 LLM 推理能力提供了更嚴(yán)苛、更真實的檢驗標(biāo)準(zhǔn)！已上線始智AI-wisemodel開源社區(qū)，歡迎體驗。

代碼和數(shù)據(jù)集地址

https://wisemodel.cn/codes/shiyixu45/ICPC-Eval

https://wisemodel.cn/datasets/shiyixu45/ICPC-Eval

01.

行業(yè)痛點：

傳統(tǒng)編程基準(zhǔn)的三大短板

當(dāng)前 LLM 編程能力評估體系存在明顯局限，難以滿足高階推理測試需求：

1. 難度不足，區(qū)分度低：現(xiàn)有基準(zhǔn)多來自普通編程平臺，難度遠(yuǎn)未達到頂級算法競賽水平。隨著LLM能力提升，這些測試已無法有效區(qū)分不同模型的推理上限；

2. 評估脫離實際：主流的 Pass@K 指標(biāo)僅關(guān)注多次采樣中是否有正確結(jié)果，忽略了人類解題時 “嘗試-反饋-優(yōu)化” 的迭代過程，也未體現(xiàn)模型的反思修正能力；

3. 測試條件受限：頂級競賽的私有測試用例不公開，多數(shù)基準(zhǔn)依賴在線判題平臺，本地評估困難，給研究者帶來諸多不便。

這些問題導(dǎo)致對 LLM 真實推理能力的評估存在偏差，難以支撐模型的精準(zhǔn)迭代。

02.

技術(shù)革新：

ICPC-Eval的三大核心突破

ICPC-Eval 以 “真實競賽場景 + 科學(xué)評估體系 + 便捷測試工具” 為核心，實現(xiàn)三大關(guān)鍵創(chuàng)新：

1. 頂級競賽題庫：118 道難題構(gòu)建嚴(yán)苛測試

團隊從 11 場近年國際大學(xué)生程序設(shè)計競賽（ICPC）中精心篩選 118 道題目，涵蓋世界總決賽、洲際總決賽及區(qū)域賽等不同級別賽事。題目覆蓋八大算法領(lǐng)域：

• 基礎(chǔ)算法（貪心、分治等）34 道

• 動態(tài)規(guī)劃 38 道

• 數(shù)學(xué)（組合數(shù)學(xué)、數(shù)論等）48 道

• 數(shù)據(jù)結(jié)構(gòu) 30 道

• 圖論 26 道

• 計算幾何 17 道

• 搜索算法 35 道

• 字符串算法 6 道

這些題目需將復(fù)雜數(shù)學(xué)邏輯轉(zhuǎn)化為高效代碼，部分還涉及特殊判題場景，難度與真實競賽完全一致，能充分暴露模型的推理短板。

2. 本地測試工具：LLM 生成魯棒測試用例

為解決私有測試用例難以獲取的問題，團隊創(chuàng)新提出基于 LLM 的測試用例生成方案：

• 為每道題生成兩種 C++ 輸入生成器：隨機生成器（均勻覆蓋數(shù)據(jù)范圍）和邊界用例生成器（針對極端場景和特殊結(jié)構(gòu)）；

• 利用已知正確的 AC 代碼生成對應(yīng)輸出，再通過錯誤代碼（WA、TLE、RE 等）驗證測試用例的有效性，確保零誤判；

• 提供完整本地評估工具包，支持特殊判題（SPJ）場景，無需依賴在線平臺，實現(xiàn)高效精準(zhǔn)的離線評估。

  
  

摒棄傳統(tǒng) Pass@K 指標(biāo)，提出更貼合真實解題流程的 Refine@K 評估方法：

• 允許模型在 K 次嘗試內(nèi)迭代優(yōu)化代碼，每次錯誤后會收到具體執(zhí)行反饋（編譯錯誤、答案錯誤、超時等）；

• 首次嘗試基于題目描述生成代碼，后續(xù)嘗試結(jié)合前序代碼和反饋進行修正，模擬人類 “反思改進” 的解題過程；

• 該指標(biāo)能有效區(qū)分推理型模型與非推理型模型的核心差異，更真實反映模型的內(nèi)在推理能力。

03.

測試結(jié)果：

頂尖LLM落后人類，推理模型優(yōu)勢凸顯

團隊對15款主流 LLM 進行全面測試，揭示了諸多關(guān)鍵發(fā)現(xiàn)：

各模型在ICPC-Eval不同算法領(lǐng)域及完整測試集上的Refine@5性能表現(xiàn)

• 與人類差距明顯：即使表現(xiàn)最佳的 o3-mini High 模型，平均每場競賽僅能解決 28.8% 的題目，遠(yuǎn)低于人類獎牌獲得者水平（如圖 1 所示），證明頂級編程競賽仍是 LLM 的巨大挑戰(zhàn)；
• 推理模型優(yōu)勢顯著：DeepSeek R1、Gemini 2.5 Pro Exp 等推理型模型在 Refine@K 指標(biāo)下表現(xiàn)突出，且隨著嘗試次數(shù)增加，性能持續(xù)提升。而非推理型模型即使增加嘗試次數(shù)，優(yōu)化空間也十分有限；
• 模型各有擅長領(lǐng)域：Gemini 2.5 Pro Exp 在基礎(chǔ)算法、數(shù)據(jù)結(jié)構(gòu)和數(shù)學(xué)領(lǐng)域表現(xiàn)均衡，o3-mini High 在計算幾何和字符串算法上優(yōu)勢明顯，而計算幾何和搜索算法是所有模型的共同難點；
• Refine@K 更具區(qū)分度：相比 Pass@K，Refine@K 能更精準(zhǔn)捕捉模型的迭代優(yōu)化能力，同一基礎(chǔ)模型的推理版本與非推理版本在該指標(biāo)下差距顯著。
  
  

04.

適用場景：

賦能LLM推理能力的精準(zhǔn)迭代

ICPC-Eval 的設(shè)計特性使其在多個場景中具備重要應(yīng)用價值：

• 模型研發(fā)評估：為 LLM 推理能力提供嚴(yán)苛的基準(zhǔn)測試，幫助研究者精準(zhǔn)定位模型短板，指導(dǎo)迭代優(yōu)化；
• 推理機制研究：通過迭代優(yōu)化過程的數(shù)據(jù)分析，深入探索 LLM “慢思考” 和反思修正的內(nèi)在機制；
• 競賽輔助訓(xùn)練：為編程競賽參與者提供 AI 輔助訓(xùn)練工具，生成多樣化測試用例，提升訓(xùn)練效率；
• 技術(shù)選型參考：為需要高階推理能力的應(yīng)用場景（如復(fù)雜系統(tǒng)開發(fā)、算法設(shè)計）提供模型選型依據(jù)。

無論是學(xué)術(shù)研究還是工業(yè)應(yīng)用，ICPC-Eval 都能提供更真實、更全面的 LLM 推理能力評估支持。

ICPC-Eval 的推出，填補了頂級編程競賽級 LLM 評估基準(zhǔn)的空白。其真實的競賽題目、創(chuàng)新的評估指標(biāo)和便捷的本地測試工具，為 LLM 推理能力評估樹立了新標(biāo)桿。測試結(jié)果表明，盡管 LLM 在普通編程任務(wù)中表現(xiàn)出色，但在頂級算法競賽場景中仍有巨大提升空間。

----- END -----

wisemodel相關(guān)：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開源社區(qū)建設(shè)需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻和維護，歡迎大家加入wisemodel開源社區(qū)的志愿者計劃和開源共創(chuàng)計劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開源社區(qū)動態(tài)。

2

歡迎加盟wisemodel開源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來，逐漸成為影響力日益擴大的中立開放的AI開源社區(qū)，為了加快公司發(fā)展，我們長期需要技術(shù)、運營等人才加盟，技術(shù)側(cè)重在AI infra、后端開發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開發(fā)者生態(tài)運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵高校實驗室、大企業(yè)研究團隊、個人等，在wisemodel平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開源成果介紹，也可以是關(guān)于AI技術(shù)實踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開源社區(qū)

始智AI wisemodel.cn開源社區(qū)由清華校友總會AI大數(shù)據(jù)專委會副秘書長劉道全創(chuàng)立，旨在打造和建設(shè)中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高?？蒲性核?、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個人開發(fā)者，以及政府部門、學(xué)會協(xié)會、聯(lián)盟、基金會等，還有投資機構(gòu)、科技媒體等，共同參與建設(shè)AI開源創(chuàng)新生態(tài)。

向上滑動查看