機(jī)器之心發(fā)布

本文作者為摩爾線程天使投資人、中國(guó)初代AI投資人王捷。他于 2025 年 8 月和 12 月分別發(fā)表了《浮現(xiàn)中的AI經(jīng)濟(jì)》 、《關(guān)于AI經(jīng)濟(jì)的四十個(gè)問(wèn)題》 兩篇文章，對(duì)即將到來(lái)的 AI 經(jīng)濟(jì)進(jìn)行了展望和解讀。本篇是他近期的第三篇文章，是就如何從經(jīng)濟(jì)生產(chǎn)力的角度評(píng)價(jià) AI 大模型，提出的一個(gè)思路。

AI生產(chǎn)能力函數(shù)：

從經(jīng)濟(jì)生產(chǎn)力的角度評(píng)估AI模型

Measuring Model Capability as Economic Productivity: A Production Capacity Function for Artificial Intelligence

1. 引言

1.1 背景

• AI 大模型已經(jīng)從技術(shù)、產(chǎn)品走向全面影響經(jīng)濟(jì)和社會(huì)，需要一個(gè)指標(biāo)，來(lái)評(píng)價(jià)AI對(duì)于真實(shí)經(jīng)濟(jì)任務(wù)的工作能力。
• 現(xiàn)有主流評(píng)測(cè)基準(zhǔn)包括MMLU、BIG-bench、SWE-Bench、WebArena、GAIA、AgentBench、MiniWoB等，這些基準(zhǔn)被廣泛用于衡量模型在知識(shí)理解、推理、編程等任務(wù)中的表現(xiàn)。
• 但現(xiàn)有評(píng)測(cè)基準(zhǔn)：
• 任務(wù)同質(zhì)性假設(shè)：
• 所有任務(wù)對(duì)總評(píng)分的貢獻(xiàn)相同，未區(qū)分任務(wù)價(jià)值差異；
• 未含人類和組織的接受度；
• 忽略推理成本：
• Token消耗未納入能力衡量，僅作為附加指標(biāo)；
• 不能反映經(jīng)濟(jì)產(chǎn)出，因此宏觀統(tǒng)計(jì)（GDP、TFP）也無(wú)法分辨 AI 的真實(shí)邊際貢獻(xiàn)。
• 關(guān)鍵缺口：缺乏一個(gè)連接“AI模型→生產(chǎn)能力→生產(chǎn)率→宏觀經(jīng)濟(jì)”的表達(dá)函數(shù)。

1.2 研究問(wèn)題

• 如何以統(tǒng)一、可計(jì)量的方式衡量AI對(duì)經(jīng)濟(jì)產(chǎn)出的“真實(shí)生產(chǎn)能力
• 我們提出一個(gè)以任務(wù)為基本單元、以 token 為投入/計(jì)量基礎(chǔ)、以 GDP 為產(chǎn)出的 AI 生產(chǎn)能力函數(shù)，定義為模型給定任務(wù)空間社會(huì)接受約束下，將計(jì)算資源token）穩(wěn)定地轉(zhuǎn)化為經(jīng)濟(jì)價(jià)值能力上限（capacity），明確包括以下要素：
• 通過(guò)引入“經(jīng)濟(jì)圖靈測(cè)試”，將任務(wù)集中的任務(wù)從僅體現(xiàn)“技術(shù)正確性/feasibility”，變?yōu)橐搀w現(xiàn)“在真實(shí)經(jīng)濟(jì)環(huán)境中被人類接受/desirability
• 模型能夠成功完成的任務(wù)的經(jīng)濟(jì)價(jià)值；
• 成功完成任務(wù)的概率；
• 完成任務(wù)所消耗的推理資源token）。
• 希望回答以下問(wèn)題：
• 一個(gè) AI 模型每消耗一個(gè)token，能創(chuàng)造多少經(jīng)濟(jì)價(jià)值？即GDP/token問(wèn)題。
• 可否將 AI 模型能力從“在若干 benchmark 上的點(diǎn)狀表現(xiàn)（pointwise performance）”，轉(zhuǎn)化為“在整個(gè)經(jīng)濟(jì)任務(wù)空間中的價(jià)值加權(quán)期望產(chǎn)出密度（task-space integral
• 不同模型、不同經(jīng)濟(jì)任務(wù)、不同國(guó)家擁有的AI能力、AI大模型的不同發(fā)展階段之間如何可比？

2. 當(dāng)前對(duì)模型能力評(píng)估方案的局限性

2.1 AI 能力評(píng)測(cè)與 Benchmark

• 傳統(tǒng) benchmark（如 MMLU、BIG-bench、SWE-Bench、AgentBench）只測(cè)成功率或通過(guò)率；
• 無(wú)法回答“單位 AI 投入 → 經(jīng)濟(jì)產(chǎn)出”；
• 缺乏“經(jīng)濟(jì)系統(tǒng)接受性”的內(nèi)生處理。

2.2 引入AI生產(chǎn)能力函數(shù) ()

• () 同時(shí)考慮：
• 任務(wù)經(jīng)濟(jì)價(jià)值
• 任務(wù)異質(zhì)性
• 成功概率（技術(shù)能力）
• 資源消耗（成本約束）
• () 將任務(wù)經(jīng)濟(jì)價(jià)值、任務(wù)異質(zhì)性、成功概率、資源消耗統(tǒng)一在一個(gè)框架中，是從技術(shù)能力到經(jīng)濟(jì)生產(chǎn)力的度量映射。

3. 基本概念與定義

3.1 定義與核心函數(shù)

模型能力被定義為模型在其可被經(jīng)濟(jì)接受的任務(wù)集合上，單位 token 所能穩(wěn)定地產(chǎn)生任務(wù)成果的期望經(jīng)濟(jì)價(jià)值。

3.2 分子：經(jīng)濟(jì)產(chǎn)出

• 含義：模型 (m) 在可接受任務(wù)集上可實(shí)現(xiàn)的總經(jīng)濟(jì)價(jià)值，這些經(jīng)濟(jì)價(jià)值來(lái)自于統(tǒng)計(jì)。
• 關(guān)鍵性質(zhì)：任務(wù)集中的任務(wù)符合兩個(gè)條件
• 該AI模型可以完成該類任務(wù)（解決“能不能做”的問(wèn)題）；
• 該AI模型完成該類任務(wù)的結(jié)果通過(guò)了“經(jīng)濟(jì)圖靈測(cè)試”（解決“做得好不好人類是否接受”的問(wèn)題）。
• 任務(wù)價(jià)值異質(zhì)時(shí)，公式自動(dòng)對(duì)高價(jià)值任務(wù)賦權(quán)。

3.3 分母：token 投入

• 分母是完成該j項(xiàng)任務(wù)消耗的token數(shù)的加總，以百萬(wàn)token計(jì)。其中單任務(wù) token 消耗定義：

• 單任務(wù) token 消耗＝完成單項(xiàng)任務(wù)的單次平均token消耗/該模型對(duì)該任務(wù)的成功完成率，其中完成單項(xiàng)任務(wù)的單次平均token消耗＝完成該項(xiàng)任務(wù)的總次數(shù)所消耗的總token數(shù)/總次數(shù)；這些數(shù)據(jù)來(lái)自統(tǒng)計(jì)。
• 單任務(wù) token 消耗內(nèi)生地反映模型的成本效率
• 成功率內(nèi)生地反映：
• 能力水平
• 穩(wěn)定性
• 復(fù)現(xiàn)性

3.4 任務(wù)（Task）

• 人的工作是以單個(gè)勞動(dòng)力作為最小的執(zhí)行單元，AI完成工作是以“任務(wù)”為最小執(zhí)行單元。
• 對(duì)AI而言，任務(wù)是一個(gè)被明確形式化的目標(biāo)實(shí)例，它定義了期望結(jié)果、行動(dòng)空間、約束條件與完成判定，使 Agent 能夠?qū)㈤_(kāi)放式環(huán)境問(wèn)題轉(zhuǎn)化為可規(guī)劃、可執(zhí)行、可評(píng)估的決策過(guò)程。

3.5任務(wù)集合 (J_m)

• 針對(duì)模型 (m) 定義的可執(zhí)行任務(wù)集；需要滿足兩個(gè)準(zhǔn)入條件：
• 1. 技術(shù)可完成性
• 2. 通過(guò)經(jīng)濟(jì)圖靈測(cè)試
• 任務(wù)集的構(gòu)建：我們需要將當(dāng)前經(jīng)濟(jì)活動(dòng)中的所有任務(wù)，構(gòu)建為適配Agent工作方式的任務(wù)集，并基于此展開(kāi)任務(wù)的統(tǒng)計(jì)工作。

3.6 經(jīng)濟(jì)圖靈測(cè)試（ETT, Economic Turing Test）

• 定義：如果模型完成任務(wù)的輸出在真實(shí)經(jīng)濟(jì)環(huán)境被人類接受，則視為成功；否則視為失??；
• 取值為[0, 1]，即“不通過(guò)”為0，“通過(guò)”為1；
• 與傳統(tǒng)圖靈測(cè)試的差異；
• 在生產(chǎn)函數(shù)中的角色：經(jīng)濟(jì)圖靈測(cè)試等價(jià)于一個(gè)制度與偏好約束（institutional and preference constraint），決定哪些 AI 產(chǎn)出可以被計(jì)入 GDP。

3.7 任務(wù)經(jīng)濟(jì)價(jià)值 (V_j)

• 任務(wù)經(jīng)濟(jì)價(jià)值統(tǒng)計(jì)方式包括：
• 人類工作成本：人類完成同一個(gè)任務(wù)所需的工作成本/工資；
• 市場(chǎng)交易價(jià)格：如果該任務(wù)是可在市場(chǎng)上交易的，市場(chǎng)交易價(jià)格是多少；
• 影子價(jià)格：對(duì)沒(méi)有市場(chǎng)價(jià)格但會(huì)影響社會(huì)福利、風(fēng)險(xiǎn)或長(zhǎng)期產(chǎn)出的任務(wù)，估計(jì)其隱含邊際價(jià)值。
• 這些數(shù)據(jù)來(lái)自統(tǒng)計(jì)。

3.8 量綱與解釋

• 單位：貨幣 / 百萬(wàn) token。

4. 與傳統(tǒng)生產(chǎn)函數(shù)的關(guān)系

4.1 AI 作為新型生產(chǎn)要素

• AI =以 token 表達(dá)的任務(wù)執(zhí)行能力；是一種以計(jì)算資源驅(qū)動(dòng)、以任務(wù)執(zhí)行能力表現(xiàn)、可在數(shù)字環(huán)境中規(guī)模復(fù)制的生產(chǎn)性要素；
• 在宏觀經(jīng)濟(jì)領(lǐng)域，這是Model-Level AI Capability in Macroeconomics；可在宏觀層面衡量 AI 對(duì)經(jīng)濟(jì)總產(chǎn)出的貢獻(xiàn)；
• 在經(jīng)濟(jì)增長(zhǎng)領(lǐng)域，這是Task-Based AI Capability Models for Economic Growth.

4.2 嵌入傳統(tǒng)生產(chǎn)函數(shù)

• AI可以被視為一種“可資本化復(fù)制的任務(wù)執(zhí)行能力”，其經(jīng)濟(jì)屬性既具有勞動(dòng)的任務(wù)完成功能又具有資本的規(guī)模復(fù)制特征；
• 在AI經(jīng)濟(jì)階段，任務(wù)執(zhí)行能力以token 表達(dá)，這意味著token作為生產(chǎn)函數(shù)的中間變量，是可精確計(jì)量的代理變量；
• 與TFP的關(guān)系：可能導(dǎo)致傳統(tǒng)生產(chǎn)函數(shù)中的TFP從殘差變?yōu)榭山忉?，AI生產(chǎn)力是可解釋的TFP分量。

4.3 與勞動(dòng)生產(chǎn)率的比較

• 在工業(yè)經(jīng)濟(jì)中，勞動(dòng)生產(chǎn)率通常以“單位勞動(dòng)投入創(chuàng)造的產(chǎn)出”表示，典型形式為 GDP/工時(shí)。其直觀含義是：在既定技術(shù)、資本與組織條件下，勞動(dòng)每單位時(shí)間可以實(shí)現(xiàn)多少產(chǎn)出；
• 本文提出的 AI 生產(chǎn)能力函數(shù)在結(jié)構(gòu)上與之具有清晰對(duì)應(yīng)關(guān)系：它以“單位 token 所能穩(wěn)定轉(zhuǎn)化的經(jīng)濟(jì)價(jià)值”刻畫(huà) AI 的生產(chǎn)能力，典型口徑為GDP/token（或 GDP/百萬(wàn) token）；GDP/token的形式可以進(jìn)入更一般的生產(chǎn)率分析框架。

5. 應(yīng)用與擴(kuò)展

前文給出的 AI 生產(chǎn)能力函數(shù)主要完成兩個(gè)任務(wù)：其一，給出模型能力作為經(jīng)濟(jì)生產(chǎn)力的形式化定義；其二，說(shuō)明該定義如何與宏觀生產(chǎn)分析建立聯(lián)系。在此基礎(chǔ)上，本節(jié)進(jìn)一步討論該框架的應(yīng)用與擴(kuò)展方向。

5.1 模型比較

• 不同模型之間的AI生產(chǎn)能力排序：對(duì)不同模型進(jìn)行“單位token經(jīng)濟(jì)價(jià)值產(chǎn)出能力”的排序；
• 同一模型不同版本的工作能力比較：更清楚地區(qū)分“技術(shù)分?jǐn)?shù)提升”與“經(jīng)濟(jì)生產(chǎn)能力提升”是否同步。

5.2 時(shí)間維度比較

• 不同階段的模型能力比較，技術(shù)進(jìn)步的動(dòng)態(tài)刻畫(huà)：

“成本下降”：?jiǎn)未纹骄鵷oken 消耗下降，即推理效率改善、工具調(diào)用更有效或策略更緊湊；

“質(zhì)量提升”：?jiǎn)挝蝗蝿?wù)的成功概率提升，即模型在既有任務(wù)上的能力水平、穩(wěn)定性或復(fù)現(xiàn)性增強(qiáng)；

“能力邊界擴(kuò)張”：任務(wù)集合(J_m)擴(kuò)張，即模型能夠覆蓋更多任務(wù)，尤其是更高價(jià)值或更復(fù)雜的任務(wù)。

5.3 成本結(jié)構(gòu)分析

• () 可用于分析推理端的商品化（commoditization）過(guò)程：如果多個(gè)模型在某些任務(wù)集上的成功率趨近，模型間競(jìng)爭(zhēng)往往從“能不能做”轉(zhuǎn)向“誰(shuí)能更低成本、更穩(wěn)定地做”，本文的生產(chǎn)能力函數(shù)可以提供理解模型服務(wù)價(jià)格競(jìng)爭(zhēng)、推理優(yōu)化策略的統(tǒng)一視角。
• () 為分析能源與算力約束提供了中間變量：可將()與“每 token 的能耗和算力成本”結(jié)合，構(gòu)建從資源約束到模型能力到經(jīng)濟(jì)產(chǎn)出的多層映射。

5.4 產(chǎn)業(yè)與國(guó)家層面

• 產(chǎn)業(yè)任務(wù)結(jié)構(gòu)差異：
• 某些行業(yè)（如軟件開(kāi)發(fā)、數(shù)字營(yíng)銷(xiāo)、在線客服、標(biāo)準(zhǔn)化文書(shū)處理）具有較高的任務(wù)形式化程度與數(shù)字化環(huán)境兼容性，因而更容易形成穩(wěn)定的(J_m)并實(shí)現(xiàn)較高的 () 應(yīng)用收益；
• 另一些行業(yè)（如高風(fēng)險(xiǎn)醫(yī)療決策、復(fù)雜現(xiàn)場(chǎng)作業(yè)、強(qiáng)監(jiān)管流程）則可能因ETT約束嚴(yán)格、任務(wù)價(jià)值評(píng)估復(fù)雜或執(zhí)行環(huán)境非數(shù)字化而限制AI 生產(chǎn)能力的釋放。
• 國(guó)家級(jí) AI 生產(chǎn)能力不同經(jīng)濟(jì)體的AI生產(chǎn)能力對(duì)比：
• “國(guó)家級(jí)AI 生產(chǎn)能力”是該經(jīng)濟(jì)體基于其可獲得AI基礎(chǔ)模型、任務(wù)數(shù)字化程度、組織采用能力、制度接受邊界與基礎(chǔ)設(shè)施條件，對(duì)AI生產(chǎn)能力的綜合實(shí)現(xiàn)水平；
• 本文框架的意義在于，為這種“模型能力—任務(wù)結(jié)構(gòu)—制度環(huán)境—經(jīng)濟(jì)產(chǎn)出”的分層分析提供統(tǒng)一的概念與度量接口。

5.5 政策與投資導(dǎo)向

本文提出的AI生產(chǎn)能力函數(shù)可以為AI模型研發(fā)投入、模型部署選擇、AI投入產(chǎn)出核算、公共采購(gòu)、經(jīng)濟(jì)政策、投資分析制定提供量化工具，是連接技術(shù)評(píng)估、部署決策、產(chǎn)業(yè)分析宏觀政策通用度量語(yǔ)言

• 在 AI 快速擴(kuò)散的階段，僅依賴benchmark排名進(jìn)行決策，容易導(dǎo)致資源配置偏向“技術(shù)表現(xiàn)最優(yōu)而非經(jīng)濟(jì)生產(chǎn)率最優(yōu)”。
• 對(duì)于企業(yè)用戶而言，模型選擇不應(yīng)僅依據(jù)公開(kāi)評(píng)測(cè)名次，而應(yīng)基于目標(biāo)任務(wù)集合下的或其近似估計(jì)值進(jìn)行比較，從而將采購(gòu)決策與業(yè)務(wù)價(jià)值創(chuàng)造能力對(duì)齊。
• 在 AI投入產(chǎn)出核算公共采購(gòu)中，提供了一種更具可審計(jì)性的量化框架。
• 產(chǎn)業(yè)政策層面，政策制定者可利用該框架識(shí)別哪些產(chǎn)業(yè)的任務(wù)結(jié)構(gòu)更適合 AI 先行滲透，哪些制度約束正在限制高價(jià)值任務(wù)進(jìn)入(J_m)，以及哪些基礎(chǔ)設(shè)施瓶頸（能源、算力、數(shù)據(jù)中心、組織數(shù)字化）正在制約 AI 生產(chǎn)能力轉(zhuǎn)化為實(shí)際產(chǎn)出。
• 投資分析中，及其構(gòu)成項(xiàng)也可為判斷 AI 相關(guān)企業(yè)或行業(yè)的競(jìng)爭(zhēng)優(yōu)勢(shì)提供補(bǔ)充視角。

6. 結(jié)論

• 本文提出了一種基于經(jīng)濟(jì)生產(chǎn)力的模型能力度量方法，即在給定任務(wù)空間與社會(huì)接受約束下，模型將計(jì)算資源（token）穩(wěn)定地轉(zhuǎn)化為經(jīng)濟(jì)價(jià)值的能力上限（capacity）

• 傳統(tǒng)benchmark的成功率排名無(wú)法準(zhǔn)確反映模型的經(jīng)濟(jì)生產(chǎn)力；本文提供了可操作的測(cè)量框架，將現(xiàn)有 benchmark 數(shù)據(jù)轉(zhuǎn)化為經(jīng)濟(jì)生產(chǎn)力度量；
• 從pointwise performance轉(zhuǎn)向task-space integral；現(xiàn)有 benchmark 衡量的是模型在給定任務(wù)點(diǎn)上的正確率；本文衡量的是模型在整個(gè)經(jīng)濟(jì)任務(wù)空間上的價(jià)值加權(quán)期望產(chǎn)出密度。
• 本文提出的模型能力定義將任務(wù)經(jīng)濟(jì)價(jià)值、任務(wù)異質(zhì)性、成功概率和資源消耗都納入考慮，從而將AI模型的能力從技術(shù)評(píng)測(cè)語(yǔ)境中的“性能表現(xiàn)”，推進(jìn)到經(jīng)濟(jì)分析語(yǔ)境中的“生產(chǎn)能力”與“生產(chǎn)率”度量。
• 本文為企業(yè)、研究機(jī)構(gòu)政策制定者提供了一個(gè)衡量、比較與優(yōu)化 AI 生產(chǎn)力操作框架，使得AI生產(chǎn)力可觀測(cè)、可計(jì)量、可比較，為benchmark設(shè)計(jì)、模型研發(fā)、模型比較、技術(shù)進(jìn)步分析、AI成本分析、產(chǎn)業(yè)和國(guó)家層面AI能力評(píng)估、模型部署、資源分配、經(jīng)濟(jì)政策、宏觀生產(chǎn)力測(cè)算提供了理論與實(shí)證基礎(chǔ)及新的量化工具；也為 AI 經(jīng)濟(jì)學(xué)研究提供了一個(gè)連接微觀模型評(píng)估與宏觀生產(chǎn)率分析的橋梁變量，是一個(gè)可進(jìn)一步細(xì)化、實(shí)證化與制度化的分析基礎(chǔ)。
• 隨著 AI 在經(jīng)濟(jì)體系中的進(jìn)一步滲透，圍繞的數(shù)據(jù)化、標(biāo)準(zhǔn)化與實(shí)證化工作，有望成為理解AI 真實(shí)經(jīng)濟(jì)貢獻(xiàn)及其階段演進(jìn)的重要基礎(chǔ)。
• 本文應(yīng)被理解為一個(gè)基礎(chǔ)性測(cè)度框架，而非已完成的最終經(jīng)驗(yàn)體系。其進(jìn)一步落地仍依賴若干關(guān)鍵工作任務(wù)集合的系統(tǒng)構(gòu)建、經(jīng)濟(jì)圖靈測(cè)試判定機(jī)制的標(biāo)準(zhǔn)化、真實(shí)部署數(shù)據(jù)的持續(xù)統(tǒng)計(jì)。這些問(wèn)題并不削弱本文框架的理論意義，反而說(shuō)明其核心價(jià)值正在于提供一個(gè)可組織后續(xù)測(cè)量工作的統(tǒng)一形式。與其在理論上等待一個(gè)完美而封閉的 AI 經(jīng)濟(jì)指標(biāo)，不如先建立一個(gè)可迭代、可擴(kuò)展、可實(shí)證化的能力度量框架，使模型能力能夠在經(jīng)濟(jì)分析中被逐步觀測(cè)、比較與檢驗(yàn)。

作者簡(jiǎn)介

作者王捷，中國(guó)初代 AI 投資人，完整經(jīng)歷了移動(dòng)互聯(lián)網(wǎng)各個(gè)發(fā)展和投資階段， 2017 年以來(lái)主要從事 AI 行業(yè)投資，投資了摩爾線程、比亞迪半導(dǎo)體、萬(wàn)國(guó)數(shù)據(jù)、京東科技、開(kāi)思時(shí)代、奇安信、明略科技等公司。作者郵箱 jie_wang7@sina.com，歡迎交流，添加請(qǐng)說(shuō)明工作/學(xué)習(xí)機(jī)構(gòu)、職務(wù)信息。