“數(shù)據量越大，模型越好”這條鐵律，正在悄悄失效。

當 GPT-4 把 1.2 T token 啃到吐、當 MoE 模型把 20 萬億參數(shù)卷到飛起，大家突然發(fā)現(xiàn)：真正卡脖子的不是算力，也不是參數(shù)，而是——高質量數(shù)據從哪兒來？

近期，北大聯(lián)合多個團隊給出一套新答案：DataFlow —— 一個把 LLM“數(shù)據準備”做成流水線的系統(tǒng)。

論文標題： DataFlow: An LLM-Driven Framework for Unified Data Preparation and Workflow Automation in the Era of Data-Centric AI 論文鏈接：（ of the Hugging Face daily paper） https://arxiv.org/abs/2512.16676 倉庫鏈接：（2k star） https://github.com/OpenDCAI/DataFlow/

1. 繁瑣腳本：做預訓練要寫 20 個去重腳本，做 SFT 再寫 15 個清洗腳本，每條管線都要“重造輪子”。

2. 復現(xiàn)黑洞：論文里一句“我們采用公開數(shù)據”背后，可能是 100 行未公開預處理代碼，別人永遠跑不出那條曲線。

3. 人力天花板：指令微調、思維鏈、工具調用……任務越精，越依賴昂貴的人類標注。一旦場景冷門（如罕見病問診、多跳法律推理），直接“無標可用”。

行業(yè)急需一套“像 PyTorch 搭模型一樣搭數(shù)據”的工業(yè)級框架——DataFlow 因此誕生。

二、方法：把“數(shù)據工程”拆成 200 塊積木 2.1 核心抽象：存儲 / 算子 / 模板 / 管線 四層 API

層級

類比 PyTorch

DataFlow 對應

作用

存儲

tensor

DataFlowStorage

統(tǒng)一表格視圖，屏蔽 JSON/Parquet/SQL 差異

算子

nn.Module

BaseOperator

單步變換，支持 LLM 驅動或規(guī)則驅動

模板

nn.Parameter

PromptTemplate

把 prompt 做成可復用、可插拔的“零件”

管線

nn.Sequential

PipelineABC

用 PyTorch 風格 forward() 組裝算子

任何數(shù)據準備流程，都能被拆成“讀→transform→寫”三段，然后像搭積木一樣重新組合。

2.2 算子分類：近 200 個官方算子

功能

命名后綴

例子

典型用途

生成

Generator

MathProblemGenerator

從 0 到 1 合成新樣本

評估

Evaluator

CodeExecutionEvaluator

給樣本打質量分

過濾

Filter

ToxicityFilter

按分數(shù)/規(guī)則剪枝

精煉

Refiner

CoTRefiner

不改樣本數(shù)，只改字段內容

所有算子共享同一套“鍵值契約”，無需改代碼，就能把數(shù)學算子直接復用到代碼領域，只需換 prompt 模板。

2.3 DataFlow-Agent

不想寫代碼？直接甩給 Agent 一句話：

“我有一份 CSV 包含股票新聞，幫我生成 5 K 條 Text-to-SQL 樣本，要帶 CoT 推理，難度分三級。”

Agent 內部基于 LangGraph 多智能體協(xié)作：

① 意圖拆解 → ② 算子檢索 → ③ 缺失算子合成 → ④ 拓撲排序 → ⑤ 沙箱驗證 → ⑥ 輸出可執(zhí)行 Python 文件。

平均 80 s 產出一條可用管線，人類只需做最后 5% 的微調。

三、實驗：10 K 如何打贏 1 M？

DataFlow 在 文本、數(shù)學推理、代碼、Text-to-SQL、Agentic RAG、知識抽取 等關鍵場景中進行了系統(tǒng)實驗，結果一致表明：用 DataFlow 生成的數(shù)據訓練模型，性能全面超越現(xiàn)有主流基線，包括人工標注數(shù)據和大規(guī)模合成數(shù)據集。

3.1 數(shù)學推理：+3 分輕松拿捏

• 在 MATH、GSM8K、AIME 等高難度數(shù)學基準上，DataFlow 合成的 10K 數(shù)據，比 Open-R1、Synthetic-1 等 SOTA 合成數(shù)據高出 1–3 個百分點。

• 僅用 10K 樣本 fine-tune Qwen2.5-32B，2 個 epoch 就達到 55.7 平均分，超越所有對比方法。

• 在 HumanEval、LiveCodeBench 等四大代碼評測中，DataFlow 生成的指令數(shù)據帶來 7% 以上的平均性能提升。

• 即使只用 1K 樣本，也已優(yōu)于 Code Alpaca 和帶執(zhí)行過濾的 Self-OSS 數(shù)據集。

• 用 不到 9 萬條 DataFlow 生成的 Text-to-SQL 數(shù)據訓練 Qwen2.5-Coder-7B，在 EHRSQL 上執(zhí)行準確率暴漲 31.8%（24.3 → 56.1）！

• 僅用 5 萬條，就超越 SynSQL（50K）；9 萬條性能媲美 SynSQL 的 250 萬條，數(shù)據效率提升近 30 倍！

• 在 HotpotQA、Musique 等多跳 QA 任務上，完全由 LLM 合成的 DataFlow-AgenticRAG-10K，在跨數(shù)據集泛化（OOD）上 全面匹敵甚至超越人工構建的數(shù)據集。

• 在 2Wiki 和 Musique 排除本域測試后，分別高出 2.6 和 1.2 個百分點。

• 在 PubMedQA、Covert 等醫(yī)療 QA 任務中，用 DataFlow 清洗+合成的醫(yī)學 QA 對訓練模型，比零樣本 CoT 提升 15–20 個點，比 RAG 提升 10–50 個點。

• 證明：結構化高質量合成數(shù)據 > 復雜推理提示 + 外部檢索。

• 系統(tǒng)層面——首個把“數(shù)據準備”抽象為可復用、可組合、可調試的通用框架，像搭模型一樣搭管線。

• 算法層面——提出“生成-評估-過濾-精煉”四段式范式，讓合成數(shù)據從‘能用’走向‘好用’。

• 社區(qū)層面——開源 200 算子 + 10 K 高質量多域數(shù)據集 + CLI 腳手架，把“數(shù)據黑箱”變成人人可 PR 的玩具積木。

• 模態(tài)擴充：DataFlow-Agent、DataFlex、DataFlow-MM等系列工具已在路上，下一站把表格、圖結構、圖文混排一起“流水線”。

• 領域深耕：DataFlow-AI4S（科學計算）、DataFlow-Industry（工業(yè)制造）預研啟動，讓合成數(shù)據走進反應堆、走進晶圓廠。

如果說過去三年，大模型的“摩爾定律”發(fā)生在參數(shù)維度；那么接下來的三年，“數(shù)據摩爾定律”將由 DataFlow 這樣的框架來書寫—— 更少的數(shù)據、更高的質量、更快的迭代、人人可復現(xiàn)。

歡迎大家關注使用DCAI的開源項目并與我們進行技術交流，如果覺得好用也請幫GitHub倉庫點一個star~ 論文鏈接： https://arxiv.org/abs/2512.16676 （ of the Hugging Face daily paper） 倉庫鏈接： https://github.com/OpenDCAI/DataFlow/ （2k star）

llustration From IconScout By IconScout Store

-The End-

本周上新！

掃碼觀看！

“AI技術流”原創(chuàng)投稿計劃

TechBeat是由將門創(chuàng)投建立的AI學習社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務和體驗，加速并陪伴其成長。

投稿內容

// 最新技術解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標明作者信息。

我們會選擇部分在深度技術解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關于我“門”

將門是一家以專注于數(shù)智核心科技領域的新型創(chuàng)投機構，也是北京市標桿型孵化器。 公司致力于通過連接技術與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產業(yè)升級。

將門成立于2015年底，創(chuàng)始團隊由微軟創(chuàng)投在中國的創(chuàng)始團隊原班人馬構建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術型創(chuàng)業(yè)公司。

如果您是技術領域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務，歡迎發(fā)送或者推薦項目給我“門”:

bp@thejiangmen.com

點擊右上角，把文章分享到朋友圈