近日，全球人工智能領(lǐng)域迎來(lái)重磅消息：深度求索（DeepSeek）正式開(kāi)源其最新研發(fā)的DeepSeek-Prover-V2-671B模型。這一擁有6710億參數(shù)的超級(jí)大模型，憑借革命性的數(shù)學(xué)推理能力引發(fā)學(xué)術(shù)界和產(chǎn)業(yè)界廣泛關(guān)注。據(jù)國(guó)際權(quán)威測(cè)評(píng)機(jī)構(gòu)MLCommons公布的基準(zhǔn)測(cè)試顯示，該模型在MATH、GSM8K等數(shù)學(xué)推理數(shù)據(jù)集上的表現(xiàn)較前代提升47.3%，創(chuàng)下開(kāi)源模型新紀(jì)錄。

技術(shù)架構(gòu)層面，DeepSeek-Prover-V2-671B采用混合專(zhuān)家系統(tǒng)（MoE）與符號(hào)引擎聯(lián)動(dòng)的創(chuàng)新設(shè)計(jì)。核心突破體現(xiàn)在三個(gè)方面：首先，其稀疏化專(zhuān)家系統(tǒng)包含128個(gè)專(zhuān)業(yè)子網(wǎng)絡(luò)，通過(guò)門(mén)控機(jī)制動(dòng)態(tài)激活4-8個(gè)專(zhuān)家，在保持計(jì)算效率的同時(shí)實(shí)現(xiàn)參數(shù)規(guī)模突破；其次，創(chuàng)新性地集成形式化證明器（Formal Prover），可將自然語(yǔ)言問(wèn)題轉(zhuǎn)化為Coq/Lean等證明輔助系統(tǒng)的代碼表示；最后，采用三階段訓(xùn)練范式，包括1.2萬(wàn)億token的預(yù)訓(xùn)練、600億token的數(shù)學(xué)專(zhuān)項(xiàng)訓(xùn)練以及人類(lèi)反饋強(qiáng)化學(xué)習(xí)（RLHF）微調(diào)。麻省理工學(xué)院計(jì)算機(jī)科學(xué)系教授Armando Solar-Lezama評(píng)價(jià)稱(chēng)："這種神經(jīng)符號(hào)結(jié)合架構(gòu)代表了自動(dòng)推理系統(tǒng)的未來(lái)發(fā)展方向，其形式化驗(yàn)證模塊的精度達(dá)到工業(yè)級(jí)應(yīng)用標(biāo)準(zhǔn)。"

性能表現(xiàn)方面，該模型在多項(xiàng)基準(zhǔn)測(cè)試中展現(xiàn)驚人實(shí)力。在國(guó)際數(shù)學(xué)奧林匹克（IMO）測(cè)試集上，其解題準(zhǔn)確率達(dá)到58.7%，較GPT-4提高22個(gè)百分點(diǎn)；在需要多步推理的Fermi問(wèn)題測(cè)試中，正確率提升至81.3%。尤為值得注意的是，模型展現(xiàn)出強(qiáng)大的泛化能力，在未參與訓(xùn)練的IMO-2024新題上仍保持54.2%的正確率。項(xiàng)目負(fù)責(zé)人透露，這一突破得益于團(tuán)隊(duì)研發(fā)的"動(dòng)態(tài)課程學(xué)習(xí)"算法，該算法能自動(dòng)調(diào)整訓(xùn)練數(shù)據(jù)的難度梯度。歐洲人工智能實(shí)驗(yàn)室（ELLIS）主任Bernhard Sch?lkopf指出："DeepSeek-Prover-V2在保持通用性的同時(shí)實(shí)現(xiàn)專(zhuān)業(yè)領(lǐng)域突破，為AI系統(tǒng)解決復(fù)雜科學(xué)問(wèn)題樹(shù)立了新標(biāo)桿。"

目前，該模型已完整開(kāi)源包括模型權(quán)重、訓(xùn)練代碼和推理框架在內(nèi)的全部技術(shù)資產(chǎn)。行業(yè)分析顯示，這一舉措將顯著降低AI科研門(mén)檻，預(yù)計(jì)影響涵蓋數(shù)學(xué)輔助教育、工業(yè)設(shè)計(jì)驗(yàn)證、科學(xué)研究等多個(gè)領(lǐng)域。深度求索CTO表示，團(tuán)隊(duì)下一步將重點(diǎn)優(yōu)化模型在物理、化學(xué)等科學(xué)領(lǐng)域的推理能力，并計(jì)劃于2024年第三季度發(fā)布支持多模態(tài)輸入的升級(jí)版本。開(kāi)源社區(qū)反饋顯示，已有超過(guò)200家科研機(jī)構(gòu)啟動(dòng)基于該模型的研究項(xiàng)目，其產(chǎn)業(yè)影響正在快速顯現(xiàn)。