12天的直播，最后一天放出來(lái)的東西大家都知道是個(gè)大招，挺多人猜GPT5的，因?yàn)樽詈髩狠S的大概率是大模型本身。

因?yàn)樯?jí)大模型，特別是對(duì)于OpenAI這種標(biāo)桿公司，每一次的模型升級(jí)，基本上都代表了AI大模型領(lǐng)域的某種風(fēng)向。

這次壓軸大菜上的是o3模型，包括我在內(nèi)的很多人都很疑惑，o1之后為什么不是o2，而是o3。

OpenAI的CEO山姆奧特曼特意解釋了原因，就是他們公司非常不擅長(zhǎng)起名字，然后o1之后就直接o3了。（可能這就是任性吧）

其實(shí)OpenAI的o系列模型，最大的特點(diǎn)就是擅長(zhǎng)推理。比如說(shuō)編程中涉及到了推理，數(shù)學(xué)也需要，物理化學(xué)這樣的理科學(xué)科也需要大量的推理，而o系列在這樣的任務(wù)中表現(xiàn)的尤其突出。

新的o3模型在推理上更進(jìn)一步，在Software Engineering和Codeforeces這倆測(cè)試上分?jǐn)?shù)相比它的上一代，o1模型提升很大。

第一個(gè)測(cè)試集的分?jǐn)?shù)從48.9提升到了71.7，第二個(gè)從1891到2727，提升幅度很大。

然后在數(shù)學(xué)上也有了提升，在AIME這個(gè)測(cè)試集上o1就已經(jīng)達(dá)到了83.3，o3直接把準(zhǔn)確率提升到了96.7，幾乎相同于一套數(shù)學(xué)卷子只錯(cuò)一個(gè)的程度。

然后下一個(gè)測(cè)試集叫GPQA，它是一個(gè)博士生級(jí)別的問題測(cè)試集，如果要某個(gè)學(xué)科的博士來(lái)答題，一般能拿到70分左右。

o1模型可以做到78分左右，o3直接把分?jǐn)?shù)拉到87.7，遠(yuǎn)超人類選手的程度。

除了這幾個(gè)很常見的測(cè)試集，甚至引入了一個(gè)不太常見的測(cè)試集ARC AGI，它的全稱是Abstraction and Reasoning Corpus for Artificial General Intelligence ，專門設(shè)計(jì)出來(lái)測(cè)試AI。

這個(gè)相比大多數(shù)測(cè)試用的數(shù)據(jù)集都要難，其中的題目大多是這種推理問題，下面是一個(gè)簡(jiǎn)單的例子，憑借直覺就能答得上來(lái)。

但是有些題目難度很高，比如下面這個(gè)。

黃色塊中有幾個(gè)其他色塊，新圖像外面就有幾層相同色塊。

你可以看到GPT4o只有9%的分?jǐn)?shù)，但是o1直接翻了兩倍多到了21%，o3的分?jǐn)?shù)遠(yuǎn)超第二名的60%，達(dá)到了82.8%。

你可以看ARC AGI主席公開的數(shù)據(jù)，o系列模型性能提升太線性了，甚至有點(diǎn)兒過(guò)于線性。

o3模型有幾個(gè)形態(tài)，除了o3，還有o3 mini，應(yīng)該是蒸餾出來(lái)的小模型，mini版本也分為三種類型，分類的標(biāo)準(zhǔn)是推理消耗的計(jì)算資源。

分為low，medium以及high三種，滿足計(jì)算資源給的越多，性能越好的定理。

直播中測(cè)試了o3 mini low模式，用它做198道題，速度極快，只用了45秒，準(zhǔn)確率61.62%，估計(jì)用high模式或者o3滿血版，可能分?jǐn)?shù)會(huì)提升非常大。

最后，OpenAI提到了他們對(duì)于安全性的升級(jí)，總的來(lái)說(shuō)，就是讓模型可以在這兩個(gè)維度上達(dá)到了很優(yōu)化的平衡。

它們用下面兩個(gè)維度做了評(píng)估：

?拒絕惡意提示（jailbreaks）：測(cè)試模型是否能拒絕回答惡意請(qǐng)求，如繞過(guò)政策或生成有害內(nèi)容。

?避免過(guò)度拒絕（overrefusal）：檢查模型在處理無(wú)害請(qǐng)求時(shí)是否會(huì)過(guò)于保守而拒絕回答。

o1 模型（深綠色星形）在拒絕惡意提示方面表現(xiàn)突出，同時(shí)對(duì)無(wú)害提示也更寬容，達(dá)到安全性和靈活性的平衡。

GPT-4o 表現(xiàn)較好，但相較于 o1 模型，在靈活性或安全性之間略顯妥協(xié)。Claude 3.5 和 Gemini 1.5 模型分別在某些方面表現(xiàn)突出，但無(wú)法同時(shí)兼顧兩方面優(yōu)化。

這一切的原因都來(lái)自于安全方面的考慮：

·大型語(yǔ)言模型容易受到對(duì)抗性攻擊（例如越獄攻擊、濫用內(nèi)容等）的威脅，同時(shí)可能過(guò)于保守，對(duì)無(wú)害請(qǐng)求拒絕回答。

·主要挑戰(zhàn)：

a.如何防止模型生成有害內(nèi)容？

b.如何避免對(duì)無(wú)害輸入的過(guò)度拒絕？

現(xiàn)有方法的缺陷：

·傳統(tǒng)方法依賴于“強(qiáng)化學(xué)習(xí)獎(jiǎng)勵(lì)優(yōu)化”（RLHF）和“對(duì)抗性訓(xùn)練”（Adversarial Training），但這些方法存在以下問題：

a.過(guò)度依賴人工標(biāo)注，訓(xùn)練成本高，且難以擴(kuò)展。

b.泛化能力較差，在處理分布外輸入（out-of-distribution）時(shí)表現(xiàn)不穩(wěn)定。

新方法 - 深思熟慮的對(duì)齊 (Deliberative Alignment)：

·提出了一個(gè)新型訓(xùn)練框架，結(jié)合了過(guò)程監(jiān)督和結(jié)果監(jiān)督，以改進(jìn)模型的安全性和泛化能力。

·自動(dòng)生成訓(xùn)練數(shù)據(jù)，減少人工依賴，提升對(duì)惡意提示的抵抗能力，同時(shí)減少對(duì)無(wú)害請(qǐng)求的過(guò)度拒絕。

下面的圖片詳細(xì)的介紹了幾個(gè)不同模型訓(xùn)練和推理的邏輯，o3采用的方法更多的利用了COT以及包含了大量的推理。