從 Base 到 RuFT→RuRL，提升不止一點點。

在數(shù)學和代碼領域，AI 有明確的“對錯”可循；但在醫(yī)療建議、創(chuàng)意寫作等開放式任務中，評價好壞往往成了“玄學”。近日，由理想汽車基座模型團隊聯(lián)合多所高校發(fā)布的RubricHub數(shù)據(jù)集，令人驚喜的是，通過該數(shù)據(jù)集訓練的Qwen3-14B小模型，在OpenAI提出的權威醫(yī)療基準測試HealthBench上達到了69.3的高分，一舉超越了GPT-5等頂級商業(yè)模型。

這意味著通過精準的監(jiān)督信號，小模型在開放生成領域完全可以實現(xiàn)對頂尖大模型的逆襲。這也讓RubicHub數(shù)據(jù)集發(fā)布僅不到3周時間，強勢登頂Hugging Face趨勢榜榜首。

01

痛點：為什么開放式生成總是“差點意思”？

當我們向模型提出非開放式任務時——比如“請幫我解這道二元一次方程”或者“寫一段Python代碼”，我們的體驗通常很直接：代碼報錯就是錯，答案不對就是不對。這種任務有著天然的“黑白分明”的界限，模型很容易通過自我驗證來優(yōu)化。

然而，一旦我們將場景切換到開放式任務，情況就變得復雜了。當詢問“我該怎么緩解偏頭痛？”或“幫我寫一份年度營銷方案”。在這種場景下，模型的主要問題通常不是“完全不會寫”，而是呈現(xiàn)出一種“似是而非”的狀態(tài)：

? 關鍵點遺漏：比如給出的醫(yī)療建議看似專業(yè)，卻唯獨少了關鍵的“禁忌癥提示”或“就醫(yī)指引”；

? 細節(jié)不夠可執(zhí)行：寫的方案邏輯通順，但缺乏具體的執(zhí)行步驟和邊界條件，無法落地；

? 極不穩(wěn)定：同一個問題，僅僅是換了一種問法，生成的質量就可能天差地別；

? 評測難以復現(xiàn)：到底寫得好不好？不同的評審員或不同的自動評測器，得出的結論往往不一致。

而導致這一切的核心原因在于：開放式任務缺少像數(shù)學和代碼那樣“天然可驗證”的監(jiān)督信號。

? 在非開放式任務中，“對/錯”能被規(guī)則或執(zhí)行器直接驗證，獎勵信號明確，優(yōu)化目標清晰，有助于RLVR（可驗證獎勵強化學習）開展

? 但在開放式任務中，很難說“只有一個正確答案”。這就導致了監(jiān)督的困境：

• 獎勵太粗：如果只看整體偏好，模型容易學到“表面像那么回事”的套路；

• 成本太貴：依賴人工進行細致的標注和評審，很難規(guī)?；?/p>

• 標準不穩(wěn)：自動評測器往往對風格和措辭過于敏感，容易帶來偏差。

既然無法直接照搬數(shù)學領域的“標準答案”模式，解決問題的關鍵就在于如何為這些開放式任務創(chuàng)造出“可驗證”的監(jiān)督信號。

01

RubricHub：把“玄學”變成可檢查的評分細則

為了解決開放式問題“玄學”的問題，理想汽車引入Rubic（評分細則）并構建了RubricHub數(shù)據(jù)集，它將模糊的主觀評價轉化為精確量化標準的工具。

2.1 什么是Rubic？

就像是體操比賽的評分表，它把原本主觀的“表演是否精彩”，變成了對每一個具體動作（如落地是否站穩(wěn)、旋轉度數(shù)是否夠）的精準扣分或得分項。

Rubric不再依賴“寫得好”或“寫得差”這種籠統(tǒng)的定性判斷，而是將“好答案”拆解為一組清晰、可檢查的具體條目；通過為每個條目分配不同的權重與分值，最終以加權匯總的方式計算總分，把開放式生成質量變成了可執(zhí)行、可復現(xiàn)的“檢查清單”。

Rubric的兩個關鍵屬性：可檢查 + 可分解

在我們的定義里，一個Rubric由多個評估條目組成。條目大致分兩類：

? 可驗證條目（Verifiable Criteria）：能用規(guī)則或確定性程序檢查（例如格式、字數(shù)、是否包含某字段、是否滿足硬約束等）；

? 語義條目（Semantic Criteria）：需要LLM grader判斷（例如推理是否完整、表達是否清晰、是否覆蓋關鍵風險點、是否前后一致等）。

對齊的關鍵在于：把“開放式質量”拆成很多條可檢查的小目標，讓訓練信號變得密集、穩(wěn)定、可解釋。

現(xiàn)有Rubrics的三大瓶頸：規(guī)模、覆蓋、區(qū)分度

Rubric并非全新概念，但長期以來未能成為通用的基礎設施，主要受限于三大核心瓶頸：

1. 難以規(guī)?；簜鹘y(tǒng)模式依賴人工撰寫，成本高昂且效率低下，難以應對海量需求；

2. 覆蓋不全面：單一視角往往帶有主觀偏差，難以做到客觀與普適，容易陷入局部視角；

3. 區(qū)分度不足：評估條目過于寬泛，導致頂尖模型極易觸及“天花板”（Ceiling Effect），難以有效區(qū)分模型間的能力差異。

RubricHub針對上述痛點提出的解決方案：它實現(xiàn)了全流程自動化、引入了多元異構視角，并顯著提升了評分的區(qū)分度。

2.2 RubricHub 是如何工作的？

為了保證這份“清單”的質量，理想汽車提出的一套全自動Coarse-to-Fine Rubric Generation（由粗到細）框架，旨在同時做到：

? 相關：緊貼問題與真實回答，不跑偏；

? 全面：覆蓋不同表達方式、減少單一偏見；

? 高區(qū)分度：能把“優(yōu)秀”和“卓越”拉開差距。

第一步：錨定事實（Response-Grounded），保證相關性與可評估性

當我們讓AI寫一段“新款汽車宣傳文案”為例，若只看問題生成Rubric，容易出現(xiàn)Rubric Drift：生成諸如“文案是否吸引人”、“是否有創(chuàng)意”等泛化、空泛的條目，評測者難以統(tǒng)一標準。

我們的做法是把Rubric生成“錨定”在包含具體賣點（如“座椅”“內(nèi)飾”等）的回答上，同時加入一組元原則約束：

? Consistency & Alignment：比如問題強調“高端定位”，就要剔除“性價比高”這種自相矛盾的條目；

? Structure & Scope：確保評分維度覆蓋合理，既有“功能介紹”也有“情感共鳴”；

? Clarity & Quality：把“寫得好”細化為“無語病、參數(shù)術語準確”等清晰、可執(zhí)行的描述；

? Reasoning & Evaluability：確保“是否提到座椅舒適”是客觀可查的，能形成穩(wěn)定信號。

要點： 先通過“參考回答”提取關鍵點，再通過“元原則”規(guī)范評分邏輯。

第二步：多模型聚合（Multi-Model Aggregation），降低視角偏差、提升覆蓋

單一模型生成的Rubric仍可能帶有“視角偏差”：模型A可能像個“硬核工程師”，只盯著“馬力、扭矩數(shù)據(jù)是否準確”，卻完全忽略了“駕駛體驗”或“用戶使用”等方面。

因此，我們引入多個異構模型分別“出題”：有的側重動力性能，有的側重內(nèi)飾奢華感，有的側重安全合規(guī)。通過整合GPT5、Gemini等頂尖模型的視點，去重與沖突消解，得到一份集百家之長的Base Rubric。

從訓練角度看，這一步相當于把“車輛工程師（看參數(shù)）、品牌總監(jiān)（看調性）、法務（看合規(guī)）”三方的標準，融合成了一份更客觀、無死角的評分細則。

第三步：難度演化（Difficulty Evolution），突破天花板的關鍵

雖然Base Rubric融合了多方視角，但它往往止步于“基本正確”。生成的內(nèi)容只要參數(shù)沒寫錯、沒有語病、符合法規(guī)，模型就能輕松拿到高分。但這無法區(qū)分“合格的說明書”與“具有感染力的文章”，導致模型很快觸及分數(shù)天花板（Ceiling Effect），訓練失去有效梯度。

為此，我們引入難度演化，是RubricHub最具競爭力的貢獻。分析高質量參考回答，從中抽取“讓答案從優(yōu)秀變卓越”的差異點，生成更嚴格、更細致的增量條目，把Rubric變“更難、更挑剔”。這種機制強迫模型不斷在“卓越”與“極致”之間自我競賽，從而打破性能天花板。

2.3 RubricHub 數(shù)據(jù)集：110k、高密度、全覆蓋的實戰(zhàn)題庫

RubricHub 數(shù)據(jù)集并非簡單的數(shù)據(jù)堆砌，而是通過“廣度、深度、高度”的立體化構建，打造了一個包含約 110k 對（Question, Rubric）的高質量樣本庫，為模型提供了前所未有的高密度監(jiān)督信號。

廣度：覆蓋五大核心領域的 110k 實戰(zhàn)題庫

為了構建通用的評估基座，RubricHub聚合清洗了來自 RaR-science、WildChat等權威開源的源數(shù)據(jù)，最終精選出約110k對（Question, Rubric） 高質量樣本。

數(shù)據(jù)分布經(jīng)過精心設計，重點強化了對嚴謹性要求極高的醫(yī)療（Medical）與科學（Science）領域（各占 27.1%），同時兼顧了指令遵循（20.9%）、創(chuàng)意寫作（15.9%）與開放對話（9.0%）。這種全方位的覆蓋，確保了模型不僅能聊閑天，更能處理復雜的專業(yè)推理任務。

深度：從“給個分”進化到“30+維度的全身掃描”

RubricHub數(shù)據(jù)集最大的特色在于“高密度監(jiān)督”。不同于傳統(tǒng)數(shù)據(jù)只給一個籠統(tǒng)的總分，RubricHub將質量拆解為密集的檢查清單。

在醫(yī)療和寫作這類復雜任務中，平均每個問題對應30條以上的細分標準（Medical Avg 31, Writing Avg 32）。這意味著模型不再是接收模糊的“好/壞”信號，而是收到了一組結構化的、精確到細節(jié)的“診斷報告”，明確知道自己在哪里做對了、哪里遺漏了。

高度：拒絕“天花板效應”，保留優(yōu)化空間

為了保證訓練的有效性，數(shù)據(jù)集特別強調“高區(qū)分度”。通過前述的“難度演化”機制，生成的評分細則足夠嚴苛，避免了分數(shù)飽和（Score Saturation）。

數(shù)據(jù)顯示，即便是目前的頂尖模型，在RubricHub上的平均得分也僅為0.6左右。這預留了充足的 Headroom（提升空間），確保在強化學習過程中，監(jiān)督信號始終能區(qū)分出“優(yōu)秀”與“卓越”的差異，持續(xù)提供有效的優(yōu)化梯度。

03
RubricHub實戰(zhàn)：小模型如何逆襲閉源巨頭

有了這份高質量的“檢查清單”，我們探索出了一套RuFT（拒絕采樣微調）→RuRL（強化學習）的兩階段訓練流程

1.RuFT：利用準則作為過濾器，篩選出最優(yōu)質的數(shù)據(jù)進行冷啟動訓練。

2.RuRL：將準則得分轉化為密集的獎勵信號，像發(fā)“計件工資”一樣精細化引導模型優(yōu)化。

3.1 Rubric 不只是評測：兩種訓練用法 (RuFT + RuRL)

RuFT：優(yōu)中選優(yōu)的“選拔賽” (Rubric-based Rejection Sampling Fine-Tuning)

在監(jiān)督微調（SFT）階段，我們需要高質量的訓練數(shù)據(jù)。

? 出題：把同一個問題（如“寫汽車文案”）當作一張試卷，讓模型生成多份回答（如 10 份），相當于 10 個學生同時作答。

? 閱卷：使用 Rubrics 作為統(tǒng)一評分標準，對這 10 份“學生答案”打分。

• 學生 A（只羅列參數(shù)）：0.7分 → 淘汰

• 學生 B（有語?。?.5分 → 淘汰

• 學生 C（參數(shù)完整且有情感共鳴）：0.9分 → 保留
  

? 錄取：只將通過 Rubrics 高分篩選的優(yōu)秀答案（如 C）作為標準答案用于 SFT 訓練，相當于在訓練前先進行一輪“考試篩選”，確保模型只向最優(yōu)樣本學習，從而緩解冷啟動階段的數(shù)據(jù)質量問題。

RuRL：按點給分的“計件工資” (Rubric-based Reinforcement Learning)

在強化學習（RL）階段，模型需要明確的獎勵信號（Reward）。

? 傳統(tǒng)痛點： 以前模型寫完，只得到一個籠統(tǒng)的“好”或“壞”，模型不知道自己具體好在哪、壞在哪。

? RuRL 做法： 我們把總分拆解為一個個具體的二值檢查（Yes/No），按權重發(fā)“工資”。

• 檢查點 1： 提到真皮座椅了嗎？ → 滿足（+10分）

• 檢查點 2： 提到靜音技術了嗎？ → 滿足（+7分）

• 檢查點 3： 有感官描寫嗎？ → 不滿足（0分）

• 最終獎勵： 總分是這些細項的加權匯總。
  

? 優(yōu)勢：

• 更穩(wěn)定： 把復雜的“文案好不好”拆成了簡單的“有沒有做到”，減少了主觀誤判。

• 可解釋： 模型（和開發(fā)者）能清楚地知道，分低是因為“沒寫感官描寫”，優(yōu)化目標非常清晰。

3.2 實驗結果：從 Base 到 RuFT→RuRL，提升不止一點點。

評測方案：五大領域全覆蓋，兩階段訓練驗證

為了全面驗證RubricHub的有效性，我們在科學、指令遵循、寫作、醫(yī)療、對話這五大核心領域，選取了 ResearchQA、IFEval、HealthBench等多個權威公開基準進行評測。實驗基于Qwen3-4B和Qwen3-14B兩個基座模型，采用了兩階段后訓練策略：

? 首先通過 RuFT（基于 Rubric 的拒絕采樣）篩選出約 30k 高質量樣本進行 SFT 冷啟動；

? 隨后利用 RuRL（基于 Rubric 的強化學習），將細粒度的評分細則轉化為結構化獎勵，使用 DAPO 算法進行對齊訓練，以此來觀察不同訓練階段帶來的性能變化。

實驗結果：階梯式顯著提升，小模型逆襲巨頭

實驗數(shù)據(jù)顯示了一個清晰的性能階梯：Base < RuFT < RuRL < RuFT+RuRL。

這證明了“篩選數(shù)據(jù)”與“獎勵對齊”兩者疊加能產(chǎn)生最強的綜合效果。Qwen3-14B (RuFT+RuRL) 的表現(xiàn)，它在多項基準上實現(xiàn)了大幅躍升。以醫(yī)療領域的 HealthBench 為例，該模型得分高達69.3，不僅遠超原始基座，甚至擊敗了GPT-5 (67.2)等頂尖閉源模型。

關于 Grader（判分器）的消融實驗發(fā)現(xiàn)，判分模型的能力存在閾值（至少需 30B 級別才能達到與人類高度一致的 κ≈0.74κ≈0.74），判分器越強，訓練出的模型效果越穩(wěn)健。

總結：并非“刷分”，而是全維度的能力進化

分析訓練動態(tài)發(fā)現(xiàn)，模型性能的提升并非單點“刷指標”，而是多維度的同步上漲。在HealthBench 的細分維度分析中，準確性（Accuracy）、完整性（Completeness）、溝通質量（Communication Quality）等指標均隨步數(shù)同步上升。

這表明，RubricHub提供的高密度、高區(qū)分度監(jiān)督信號，成功引導模型實現(xiàn)了從“投機取巧”到“全面變強”的質變，證明了通過構建高質量的驗證信號，小模型完全具備在特定領域超越大模型的潛力。

04
結語

開放式生成的難點已從“能不能寫”轉向“能不能寫好”。RubricHub的核心價值在于打破了“好壞難評”的僵局，將主觀評價轉化為可生成、可訓練的通用基礎設施。

通過“固化標準 → 篩選數(shù)據(jù) → 獎勵建?！钡臉藴驶窂?，RubricHub成功將模糊偏好轉化為可驗證的監(jiān)督信號。這不僅證明了“高質量監(jiān)督”在特定領域優(yōu)于單純堆砌參數(shù)，更為大模型從“泛泛而談”邁向“精準專業(yè)”提供了一條可規(guī)?；男路妒?。

https://huggingface.co/datasets/sojuL/RubricHub_v1

未經(jīng)「AI科技評論」授權，嚴禁以任何方式在網(wǎng)頁、論壇、社區(qū)進行轉載！

公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。