在科學(xué)研究的世界里，一個(gè)長(zhǎng)期困擾研究者的問(wèn)題終于有了新的解決方案。來(lái)自上海人工智能實(shí)驗(yàn)室和復(fù)旦大學(xué)的研究團(tuán)隊(duì)在2025年2月發(fā)表了一項(xiàng)開(kāi)創(chuàng)性研究，論文編號(hào)為arXiv:2602.12164v1，提出了一個(gè)名為Sci-CoE的創(chuàng)新框架。這項(xiàng)研究解決了一個(gè)看似矛盾的難題：如何讓人工智能在幾乎沒(méi)有標(biāo)準(zhǔn)答案的情況下，自己學(xué)會(huì)解決復(fù)雜的科學(xué)問(wèn)題。

目前的AI系統(tǒng)就像一個(gè)極度依賴標(biāo)準(zhǔn)答案的學(xué)霸，在數(shù)學(xué)和編程領(lǐng)域表現(xiàn)出色，因?yàn)檫@些領(lǐng)域有明確的對(duì)錯(cuò)標(biāo)準(zhǔn)。但當(dāng)面對(duì)開(kāi)放性的科學(xué)問(wèn)題時(shí)，這些AI就顯得力不從心了?？茖W(xué)推理不像解數(shù)學(xué)題那樣有標(biāo)準(zhǔn)答案，同一個(gè)問(wèn)題可能有多種正確的解決路徑，而且需要深厚的專業(yè)知識(shí)來(lái)判斷答案的正確性。

這就好比讓一個(gè)只會(huì)背標(biāo)準(zhǔn)菜譜的廚師突然去創(chuàng)新料理一樣困難。研究團(tuán)隊(duì)意識(shí)到，傳統(tǒng)的AI訓(xùn)練方法需要大量的"標(biāo)準(zhǔn)答案"作為參考，但在科學(xué)研究中，獲得這些標(biāo)準(zhǔn)答案的成本極其昂貴，而且往往需要領(lǐng)域?qū)＜业纳疃葏⑴c。

為了解決這個(gè)問(wèn)題，研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)巧妙的雙重角色系統(tǒng)。他們讓同一個(gè)AI同時(shí)扮演兩個(gè)角色：一個(gè)是"解題者"，負(fù)責(zé)提出科學(xué)問(wèn)題的解決方案；另一個(gè)是"驗(yàn)證者"，負(fù)責(zé)設(shè)計(jì)各種驗(yàn)證策略來(lái)檢查解決方案的正確性。這兩個(gè)角色在訓(xùn)練過(guò)程中相互學(xué)習(xí)、相互促進(jìn)，形成了一個(gè)自我完善的循環(huán)系統(tǒng)。

整個(gè)訓(xùn)練過(guò)程分為兩個(gè)精心設(shè)計(jì)的階段。第一階段被稱為"錨定學(xué)習(xí)"，就像給一個(gè)初學(xué)者提供最基本的參考點(diǎn)。研究團(tuán)隊(duì)使用了少量已知答案的科學(xué)問(wèn)題作為基礎(chǔ)，讓AI建立起最初的正確性判斷標(biāo)準(zhǔn)。這個(gè)階段不是為了讓AI記住所有答案，而是讓它學(xué)會(huì)什么樣的推理是合理的，什么樣的驗(yàn)證方法是有效的。

第二階段才是真正的創(chuàng)新所在，被稱為"無(wú)監(jiān)督共同進(jìn)化"。在這個(gè)階段，AI不再依賴標(biāo)準(zhǔn)答案，而是通過(guò)解題者和驗(yàn)證者之間的相互作用來(lái)提升能力。解題者提出的方案越好，驗(yàn)證者就能學(xué)到更有效的驗(yàn)證策略；驗(yàn)證者的策略越準(zhǔn)確，解題者就能獲得更可靠的反饋信號(hào)。這種相互促進(jìn)的機(jī)制讓AI能夠在沒(méi)有外部監(jiān)督的情況下持續(xù)改進(jìn)。

**一、雙重身份的奇妙平衡術(shù)**

Sci-CoE框架的核心創(chuàng)新在于讓單個(gè)AI模型同時(shí)承擔(dān)兩個(gè)看似矛盾的角色。解題者的任務(wù)是針對(duì)科學(xué)問(wèn)題生成詳細(xì)的解決方案，包含完整的推理步驟和最終答案。驗(yàn)證者則需要設(shè)計(jì)多樣化的驗(yàn)證策略，從不同角度評(píng)估解決方案的正確性。

這種設(shè)計(jì)就像培養(yǎng)一個(gè)既會(huì)做菜又會(huì)品嘗的廚師。做菜的技能讓廚師能夠創(chuàng)造出各種料理，而品嘗的能力則幫助廚師判斷料理的好壞，進(jìn)而改進(jìn)烹飪技術(shù)。兩種能力相互促進(jìn)，最終造就了一個(gè)真正的烹飪高手。

在具體實(shí)現(xiàn)上，當(dāng)AI面對(duì)一個(gè)科學(xué)問(wèn)題時(shí)，它會(huì)同時(shí)生成多個(gè)候選解決方案和多種驗(yàn)證策略。每個(gè)解決方案都會(huì)接受所有驗(yàn)證策略的檢驗(yàn)，形成一個(gè)完整的評(píng)估矩陣。這種全方位的交叉驗(yàn)證確保了評(píng)估的準(zhǔn)確性和全面性。

研究團(tuán)隊(duì)特別強(qiáng)調(diào)，這兩個(gè)角色共享同一套模型參數(shù)，這意味著解題能力的提升會(huì)直接促進(jìn)驗(yàn)證能力的發(fā)展，反之亦然。這種參數(shù)共享的設(shè)計(jì)不僅提高了訓(xùn)練效率，也確保了兩種能力之間的協(xié)調(diào)一致性。

**二、從有監(jiān)督到無(wú)監(jiān)督的華麗轉(zhuǎn)身**

錨定學(xué)習(xí)階段雖然使用的標(biāo)注數(shù)據(jù)很少，但其作用至關(guān)重要。研究團(tuán)隊(duì)發(fā)現(xiàn)，即使只使用1%-10%的標(biāo)注科學(xué)問(wèn)題，也足以為AI建立起基本的判斷準(zhǔn)則。這個(gè)階段就像給一個(gè)學(xué)徒提供最基本的工具和技能，為后續(xù)的獨(dú)立學(xué)習(xí)打下堅(jiān)實(shí)基礎(chǔ)。

在這個(gè)階段，解題者的獎(jiǎng)勵(lì)機(jī)制相對(duì)簡(jiǎn)單直接：答案正確就得到正向反饋，答案錯(cuò)誤就得到負(fù)向反饋。驗(yàn)證者的獎(jiǎng)勵(lì)機(jī)制則更加精妙，它不僅要求驗(yàn)證策略能夠識(shí)別正確答案，還要求能夠有效拒絕錯(cuò)誤答案。只有同時(shí)滿足這兩個(gè)條件的驗(yàn)證策略才能獲得最高獎(jiǎng)勵(lì)。

為了避免訓(xùn)練過(guò)程中的不穩(wěn)定性，研究團(tuán)隊(duì)采用了序列優(yōu)化的方法。在每個(gè)訓(xùn)練步驟中，系統(tǒng)首先使用解題數(shù)據(jù)更新模型參數(shù)，然后再使用驗(yàn)證策略數(shù)據(jù)進(jìn)行進(jìn)一步更新。這種分階段的更新方式確保了兩種能力都能得到充分發(fā)展，避免了相互干擾。

當(dāng)進(jìn)入無(wú)監(jiān)督共同進(jìn)化階段后，AI就像一個(gè)獲得了獨(dú)立思考能力的學(xué)者，不再需要外部的標(biāo)準(zhǔn)答案指導(dǎo)。解題者通過(guò)驗(yàn)證策略的一致性反饋來(lái)判斷自己方案的質(zhì)量，驗(yàn)證者則通過(guò)幾何建模的方法來(lái)保持策略的多樣性和可靠性。

**三、幾何建模：防止"集體思維"的智慧設(shè)計(jì)**

無(wú)監(jiān)督學(xué)習(xí)階段最大的挑戰(zhàn)是如何避免AI陷入"集體思維"的陷阱。如果驗(yàn)證者為了獲得高分而生成過(guò)于相似或過(guò)于簡(jiǎn)單的驗(yàn)證策略，整個(gè)系統(tǒng)就會(huì)失去多樣性，最終導(dǎo)致性能退化。

為了解決這個(gè)問(wèn)題，研究團(tuán)隊(duì)引入了一個(gè)精巧的幾何建模機(jī)制。這個(gè)機(jī)制將每個(gè)驗(yàn)證策略都映射到一個(gè)高維的語(yǔ)義空間中，然后通過(guò)幾何分析來(lái)評(píng)估策略的質(zhì)量。評(píng)估包含三個(gè)維度：一致性、可靠性和多樣性。

一致性獎(jiǎng)勵(lì)確保驗(yàn)證策略能夠正確識(shí)別高質(zhì)量的解決方案。那些能夠通過(guò)多種驗(yàn)證策略檢驗(yàn)的解決方案被認(rèn)為具有高一致性，相應(yīng)的驗(yàn)證策略也會(huì)獲得更高的獎(jiǎng)勵(lì)。

可靠性獎(jiǎng)勵(lì)通過(guò)測(cè)量驗(yàn)證策略在語(yǔ)義空間中與聚類中心的距離來(lái)評(píng)估。距離聚類中心越近的策略被認(rèn)為越穩(wěn)定可靠，因?yàn)樗鼈儾惶赡艹霈F(xiàn)主題偏移或幻覺(jué)問(wèn)題。這就像評(píng)估一個(gè)評(píng)委的判斷標(biāo)準(zhǔn)是否穩(wěn)定一致。

多樣性獎(jiǎng)勵(lì)是整個(gè)機(jī)制中最具創(chuàng)新性的部分。系統(tǒng)使用主成分分析將策略投影到二維空間，然后計(jì)算每個(gè)策略在極坐標(biāo)系中的角度分布。理想狀態(tài)下，驗(yàn)證策略應(yīng)該均勻分布在各個(gè)角度上，覆蓋所有可能的驗(yàn)證視角。那些與其他策略角度差異較大的策略會(huì)獲得更高的多樣性獎(jiǎng)勵(lì)。

這種幾何建模方法確保了驗(yàn)證系統(tǒng)既不會(huì)過(guò)于嚴(yán)格（拒絕所有方案）也不會(huì)過(guò)于寬松（接受所有方案），而是在保持判斷標(biāo)準(zhǔn)的同時(shí)鼓勵(lì)多角度的驗(yàn)證思路。

**四、實(shí)驗(yàn)驗(yàn)證：從理論到實(shí)踐的成功轉(zhuǎn)化**

為了驗(yàn)證Sci-CoE框架的有效性，研究團(tuán)隊(duì)在多個(gè)科學(xué)推理基準(zhǔn)測(cè)試上進(jìn)行了全面評(píng)估。他們選擇了MMLU-Pro、GPQA-Diamond和UGPhysics等具有代表性的測(cè)試集，這些測(cè)試覆蓋了數(shù)學(xué)、物理、化學(xué)、生物等多個(gè)科學(xué)領(lǐng)域。

實(shí)驗(yàn)結(jié)果令人印象深刻。在GPQA-Diamond測(cè)試集上，使用Qwen3-8B作為基礎(chǔ)模型的Sci-CoE系統(tǒng)將準(zhǔn)確率從36.87%提升到了40.91%，實(shí)現(xiàn)了4.04%的顯著改進(jìn)。在更大規(guī)模的MMLU-Pro測(cè)試集上，系統(tǒng)也取得了1.15%的穩(wěn)定提升，從63.19%提高到64.34%。

更重要的是，研究團(tuán)隊(duì)發(fā)現(xiàn)隨著無(wú)標(biāo)簽數(shù)據(jù)規(guī)模的增加，系統(tǒng)性能持續(xù)提升而沒(méi)有出現(xiàn)飽和現(xiàn)象。當(dāng)無(wú)標(biāo)簽數(shù)據(jù)從18k增加到30k時(shí)，各項(xiàng)指標(biāo)都有進(jìn)一步改善，這表明Sci-CoE框架具有良好的可擴(kuò)展性。

通過(guò)可視化分析，研究團(tuán)隊(duì)展示了幾何建模機(jī)制的實(shí)際效果。在訓(xùn)練初期，驗(yàn)證策略往往聚集在少數(shù)幾個(gè)區(qū)域，表現(xiàn)出較低的多樣性。隨著訓(xùn)練的進(jìn)行，策略逐漸在整個(gè)語(yǔ)義空間中均勻分布，同時(shí)保持較高的一致性和可靠性。這種演化過(guò)程直觀地證明了幾何建模機(jī)制的有效性。

研究團(tuán)隊(duì)還進(jìn)行了詳細(xì)的消融實(shí)驗(yàn)，分析了各個(gè)組件的貢獻(xiàn)。結(jié)果顯示，錨定學(xué)習(xí)階段雖然使用的數(shù)據(jù)很少，但對(duì)最終性能的提升起到了關(guān)鍵作用。沒(méi)有錨定學(xué)習(xí)的系統(tǒng)在某些測(cè)試上甚至表現(xiàn)得比基礎(chǔ)模型還差，這證明了初始參考點(diǎn)的重要性。

幾何獎(jiǎng)勵(lì)機(jī)制的作用同樣顯著。與簡(jiǎn)單的一致性獎(jiǎng)勵(lì)相比，包含幾何建模的完整獎(jiǎng)勵(lì)機(jī)制在所有測(cè)試上都表現(xiàn)更好。通過(guò)分析驗(yàn)證策略的分布變化，研究團(tuán)隊(duì)發(fā)現(xiàn)幾何獎(jiǎng)勵(lì)成功避免了策略同質(zhì)化的問(wèn)題，維持了驗(yàn)證系統(tǒng)的多樣性和魯棒性。

**五、技術(shù)細(xì)節(jié)：工程實(shí)現(xiàn)的精妙之處**

Sci-CoE框架的成功不僅在于理論設(shè)計(jì)的創(chuàng)新，更在于工程實(shí)現(xiàn)的精細(xì)考量。研究團(tuán)隊(duì)使用了Qwen2.5-7B-Instruct和Qwen3-8B作為基礎(chǔ)模型，這些模型具有強(qiáng)大的自然語(yǔ)言理解和生成能力，為科學(xué)推理提供了良好的基礎(chǔ)。

在訓(xùn)練數(shù)據(jù)的構(gòu)建上，團(tuán)隊(duì)整合了MegaScience、Numinamath、ScienceQA和CaseHold等多個(gè)高質(zhì)量數(shù)據(jù)集，覆蓋了數(shù)學(xué)、物理、化學(xué)、生物等多個(gè)科學(xué)領(lǐng)域。錨定學(xué)習(xí)階段使用4k標(biāo)注數(shù)據(jù)，無(wú)監(jiān)督共同進(jìn)化階段則使用了18k到30k的無(wú)標(biāo)簽數(shù)據(jù)。

訓(xùn)練過(guò)程采用近端策略優(yōu)化算法進(jìn)行參數(shù)更新。在每個(gè)訓(xùn)練步驟中，系統(tǒng)會(huì)采樣100個(gè)科學(xué)問(wèn)題，為每個(gè)問(wèn)題生成10個(gè)候選解決方案和10個(gè)驗(yàn)證策略。這種批量并行的處理方式大大提高了訓(xùn)練效率。

為了確保驗(yàn)證過(guò)程的質(zhì)量，研究團(tuán)隊(duì)使用了Qwen3-235B-A22B作為外部判斷模型。這個(gè)大規(guī)模模型負(fù)責(zé)根據(jù)驗(yàn)證策略來(lái)評(píng)估解決方案的正確性，為訓(xùn)練過(guò)程提供高質(zhì)量的反饋信號(hào)。

在幾何建模的實(shí)現(xiàn)上，系統(tǒng)使用Qwen3-Embedding-8B模型將自然語(yǔ)言的驗(yàn)證策略轉(zhuǎn)換為高維向量表示。然后通過(guò)K-means聚類分析和主成分分析來(lái)計(jì)算可靠性和多樣性獎(jiǎng)勵(lì)。這種結(jié)合了深度學(xué)習(xí)和傳統(tǒng)機(jī)器學(xué)習(xí)方法的混合方案既保證了效果又控制了計(jì)算復(fù)雜度。

**六、深度分析：突破傳統(tǒng)范式的意義**

Sci-CoE框架的真正價(jià)值不僅僅在于性能的提升，更在于它為科學(xué)推理AI的發(fā)展開(kāi)辟了一條全新的道路。傳統(tǒng)的AI訓(xùn)練方法嚴(yán)重依賴大量的標(biāo)注數(shù)據(jù)，這在科學(xué)領(lǐng)域尤其困難，因?yàn)楦哔|(zhì)量的科學(xué)問(wèn)題標(biāo)注需要領(lǐng)域?qū)＜业纳疃葏⑴c，成本極其昂貴。

通過(guò)引入自我進(jìn)化的機(jī)制，Sci-CoE框架大大降低了對(duì)標(biāo)注數(shù)據(jù)的依賴。實(shí)驗(yàn)結(jié)果表明，僅用1%-10%的標(biāo)注數(shù)據(jù)就能啟動(dòng)整個(gè)自學(xué)習(xí)過(guò)程，這為科學(xué)AI的大規(guī)模應(yīng)用提供了現(xiàn)實(shí)可能性。

更重要的是，這種雙角色的設(shè)計(jì)模式為AI系統(tǒng)的能力提升提供了新的思路。解題者和驗(yàn)證者的相互促進(jìn)機(jī)制不僅適用于科學(xué)推理，也可能擴(kuò)展到其他需要復(fù)雜判斷的領(lǐng)域。這種內(nèi)在的自我監(jiān)督機(jī)制可能成為未來(lái)AI發(fā)展的重要方向。

幾何建模機(jī)制的引入也具有重要的理論意義。它提供了一種量化評(píng)估驗(yàn)證策略質(zhì)量的方法，將抽象的策略評(píng)估轉(zhuǎn)化為具體的幾何計(jì)算。這種方法不僅避免了簡(jiǎn)單一致性獎(jiǎng)勵(lì)可能帶來(lái)的策略同質(zhì)化問(wèn)題，也為其他需要維持多樣性的AI應(yīng)用提供了參考。

研究團(tuán)隊(duì)特別強(qiáng)調(diào)，Sci-CoE框架學(xué)到的不是特定問(wèn)題的解決方案，而是通用的推理和驗(yàn)證模式。這種元學(xué)習(xí)能力使得系統(tǒng)能夠適應(yīng)不同的科學(xué)領(lǐng)域，即使在訓(xùn)練時(shí)沒(méi)有見(jiàn)過(guò)的問(wèn)題類型上也能表現(xiàn)良好。這種泛化能力是傳統(tǒng)基于模板匹配方法難以達(dá)到的。

從實(shí)驗(yàn)結(jié)果來(lái)看，Sci-CoE框架在不同規(guī)模的數(shù)據(jù)上都表現(xiàn)出良好的可擴(kuò)展性，這為其在更大規(guī)模應(yīng)用中的部署提供了信心。隨著無(wú)標(biāo)簽科學(xué)數(shù)據(jù)的不斷增加，系統(tǒng)的性能有望進(jìn)一步提升。

**七、應(yīng)用前景與現(xiàn)實(shí)意義**

雖然Sci-CoE框架目前還處于研究階段，但其潛在的應(yīng)用前景非常廣闊。在教育領(lǐng)域，這種能夠自我學(xué)習(xí)和驗(yàn)證的AI系統(tǒng)可以成為學(xué)生學(xué)習(xí)科學(xué)知識(shí)的智能助手，不僅能夠解答問(wèn)題，還能解釋推理過(guò)程和驗(yàn)證方法。

在科學(xué)研究中，Sci-CoE框架可以輔助研究人員進(jìn)行假設(shè)驗(yàn)證和實(shí)驗(yàn)設(shè)計(jì)。系統(tǒng)強(qiáng)大的多角度驗(yàn)證能力可以幫助識(shí)別研究方案中的潛在缺陷，提高研究質(zhì)量。

對(duì)于科學(xué)出版和同行評(píng)議過(guò)程，這種AI系統(tǒng)也可能發(fā)揮重要作用。其多樣化的驗(yàn)證策略可以為論文審稿提供參考，幫助識(shí)別研究中的methodological問(wèn)題。

不過(guò)，研究團(tuán)隊(duì)也坦誠(chéng)地指出了當(dāng)前框架的一些局限性。由于計(jì)算資源的限制，目前的實(shí)驗(yàn)只涉及了80億參數(shù)規(guī)模的模型。更大規(guī)模模型的效果如何還需要進(jìn)一步驗(yàn)證。

另一個(gè)需要改進(jìn)的地方是對(duì)外部判斷模型的依賴。雖然這種依賴已經(jīng)大大減少了對(duì)人工標(biāo)注的需求，但理想情況下，系統(tǒng)應(yīng)該能夠完全獨(dú)立地進(jìn)行質(zhì)量評(píng)估。這可能是未來(lái)研究的一個(gè)重要方向。

系統(tǒng)目前的驗(yàn)證能力雖然已經(jīng)相當(dāng)出色，但在某些需要深度領(lǐng)域知識(shí)的專業(yè)問(wèn)題上，其判斷準(zhǔn)確性可能還不如人類專家。如何進(jìn)一步提升驗(yàn)證能力的專業(yè)性和準(zhǔn)確性仍然是一個(gè)挑戰(zhàn)。

盡管存在這些局限性，Sci-CoE框架已經(jīng)展現(xiàn)出了巨大的潛力。它不僅在技術(shù)上實(shí)現(xiàn)了重要突破，更重要的是為科學(xué)AI的發(fā)展指明了新的方向。隨著技術(shù)的不斷完善和應(yīng)用場(chǎng)景的擴(kuò)大，這種自我進(jìn)化的AI系統(tǒng)可能會(huì)對(duì)科學(xué)研究和教育產(chǎn)生深遠(yuǎn)的影響。

說(shuō)到底，Sci-CoE框架最大的價(jià)值在于它證明了AI可以在極少的外部指導(dǎo)下實(shí)現(xiàn)自我提升。這種能力不僅適用于科學(xué)推理，也為其他復(fù)雜認(rèn)知任務(wù)的AI解決方案提供了新的思路。當(dāng)我們看到AI系統(tǒng)能夠像人類學(xué)者一樣進(jìn)行自我反思和相互批評(píng)時(shí)，我們或許正在見(jiàn)證人工智能發(fā)展的一個(gè)重要里程碑。這項(xiàng)研究不僅推進(jìn)了科學(xué)AI的技術(shù)邊界，更為我們展現(xiàn)了一個(gè)AI系統(tǒng)能夠獨(dú)立學(xué)習(xí)和成長(zhǎng)的美好前景。

Q&A

Q1：Sci-CoE框架如何讓AI在沒(méi)有標(biāo)準(zhǔn)答案的情況下自我學(xué)習(xí)？

A：Sci-CoE讓同一個(gè)AI扮演兩個(gè)角色：解題者負(fù)責(zé)提出科學(xué)問(wèn)題的解決方案，驗(yàn)證者負(fù)責(zé)設(shè)計(jì)檢查策略來(lái)驗(yàn)證方案正確性。兩個(gè)角色相互學(xué)習(xí)、相互促進(jìn)，解題者的方案越好就能幫驗(yàn)證者學(xué)到更好的驗(yàn)證方法，驗(yàn)證者的策略越準(zhǔn)確就能給解題者更可靠的反饋。通過(guò)這種相互促進(jìn)的機(jī)制，AI就能在沒(méi)有外部標(biāo)準(zhǔn)答案的情況下不斷自我提升。

Q2：為什么Sci-CoE需要分兩個(gè)階段訓(xùn)練？

A：第一階段叫"錨定學(xué)習(xí)"，用少量有標(biāo)準(zhǔn)答案的科學(xué)問(wèn)題讓AI建立基本的判斷標(biāo)準(zhǔn)，就像給初學(xué)者提供最基礎(chǔ)的參考點(diǎn)。第二階段是"無(wú)監(jiān)督共同進(jìn)化"，AI不再依賴標(biāo)準(zhǔn)答案，完全通過(guò)解題者和驗(yàn)證者的相互作用來(lái)提升能力。如果跳過(guò)第一階段直接進(jìn)入無(wú)監(jiān)督學(xué)習(xí)，AI就缺乏基本判斷準(zhǔn)則，反而可能表現(xiàn)得比原來(lái)還差。

Q3：Sci-CoE框架的幾何建模機(jī)制是如何防止AI產(chǎn)生相似驗(yàn)證策略的？

A：幾何建模將每個(gè)驗(yàn)證策略映射到高維語(yǔ)義空間，然后從三個(gè)角度評(píng)估：一致性確保策略能識(shí)別正確答案，可靠性通過(guò)策略與聚類中心的距離來(lái)判斷穩(wěn)定性，多樣性則將策略投影到二維空間計(jì)算角度分布。系統(tǒng)鼓勵(lì)驗(yàn)證策略在各個(gè)角度均勻分布，那些與其他策略角度差異大的會(huì)獲得更高獎(jiǎng)勵(lì)，這樣就避免了AI為了高分而生成過(guò)于相似或簡(jiǎn)單的驗(yàn)證策略。