国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

擴(kuò)散模型成最快深度思考!告別自回歸每秒1009個(gè)tokens

0
分享至

首個(gè)會(huì)深度思考的擴(kuò)散模型來(lái)了!

拋棄自回歸范式,一舉成為世界上生成速度最快的模型。

你瞅瞅,對(duì)比之下傳統(tǒng)自回歸的“打字機(jī)模式”(按順序一個(gè)個(gè)token往外吐)是不是就有點(diǎn)像烏龜了:



實(shí)際測(cè)評(píng)顯示,這款名為Mercury 2的擴(kuò)散推理LLM在英偉達(dá)GPU上可實(shí)現(xiàn)1009個(gè)tokens/s。

這個(gè)速度整整比GPT-5(mini)和Claude-4.5(haiku)這些傳統(tǒng)模型快了5倍。



消息一出,英偉達(dá)第一時(shí)間跑來(lái)祝賀了(當(dāng)然也可能是因?yàn)樗读薓ercury 2背后的公司):



一眾網(wǎng)友也紛紛坐不住,畢竟最近很火的“龍蝦們”也少不了對(duì)速度的極限追求:



還有人已經(jīng)開(kāi)始懷念自回歸曾經(jīng)的風(fēng)光了(doge)。



so,Mercury 2是誰(shuí)?它又是如何突破速度瓶頸的呢?

不止是快,還穩(wěn)

原理其實(shí)很簡(jiǎn)單。

前面已經(jīng)說(shuō)了,傳統(tǒng)自回歸就像打字機(jī)一樣,一次只能處理一個(gè)token,且必須按照從左到右的順序。

但擴(kuò)散模型Mercury 2的工作方式更像一位編輯——

你不是在看它打字,而是看它拿到一份草稿后,立刻拿著紅筆在整頁(yè)紙上同時(shí)圈改。

換言之,一次生成答案草稿再整體編輯。

這種“并行優(yōu)化”機(jī)制,使得Mercury 2不需要等待前一個(gè)字的結(jié)果就能生成下一個(gè)字,因此響應(yīng)速度極快,延遲不再與輸出長(zhǎng)度成正比。

最終,Mercury 2能將生成速度提升5倍以上,且速度曲線截然不同

瞅瞅,在第三方測(cè)評(píng)中,其輸出速度可謂一騎絕塵。



和市面主流的頂尖模型比,速度也是獨(dú)一檔的存在。



而且不止是快,它在性能、價(jià)格方面都具有一定優(yōu)勢(shì)。

延遲低至1.7s的情況下,在GPQA(科學(xué)問(wèn)答)、LCB(編程)、AIME(數(shù)學(xué))等多個(gè)基準(zhǔn)測(cè)試中,Mercury 2的得分普遍高于或持平于那些速度較慢的“小型/輕量級(jí)”模型(如GPT-5 Nano, Claude 4.5 Haiku)。

甚至在AIME上的得分超過(guò)了公認(rèn)的“性能怪獸”Gemini 3 Flash(推理版) 。

這說(shuō)明Mercury 2在保持極高速度的同時(shí),并不以犧牲智商為代價(jià)。



它目前支持128K上下文,輸入價(jià)格為每百萬(wàn)token 0.25美元(約合人民幣1.7元),輸出價(jià)格為每百萬(wàn)token 0.75美元(約合人民幣5.2元)。

綜合速度與價(jià)格,Mercury 2也保持了較高性價(jià)比。



官方表示,Mercury 2的這種速度優(yōu)勢(shì)改變了推理。

  • 如今,更高的智能意味著更多的test-time計(jì)算——更長(zhǎng)的鏈、更多的樣本、更多的重試,而這直接以延遲和成本為代價(jià)?;跀U(kuò)散的推理能夠在實(shí)時(shí)延遲預(yù)算內(nèi)實(shí)現(xiàn)推理級(jí)別的質(zhì)量。

背后公司一開(kāi)始就押注擴(kuò)散模型

最后介紹一下Mercury 2背后的公司及團(tuán)隊(duì)。

它是由Inception Labs這家成立于2024年的硅谷初創(chuàng)公司推出的。

從一開(kāi)始這家公司就力押擴(kuò)散模型,其核心使命為——

用全新的、基于擴(kuò)散/diffusion的生成機(jī)制替代傳統(tǒng)的自回歸Transformer模型,從根本上突破速度與成本瓶頸。

他們認(rèn)為,傳統(tǒng)自回歸模型的缺陷不言自明——延遲和成本會(huì)隨著token數(shù)量的增加而增加。

而擴(kuò)散模型采用由粗到精的生成過(guò)程。它并非逐個(gè)提交數(shù)據(jù),而是通過(guò)少量步驟并行迭代地細(xì)化輸出。這使得在生成過(guò)程中可以進(jìn)行修改,并帶來(lái)截然不同的速度-成本曲線。一言以蔽之:

  • 人工智能不應(yīng)該像單向打字機(jī)那樣運(yùn)作,而應(yīng)該更像一個(gè)編輯。

基于此,他們開(kāi)始在Mercury系列中踐行這一理念。

2025年2月,發(fā)布全球首個(gè)基于擴(kuò)散模型的商業(yè)級(jí)語(yǔ)言模型——初代Mercury,一開(kāi)始就把生成速度拉到傳統(tǒng)的5倍以上,而且同一時(shí)間還推出編程助手Mercury Coder。

一年之后,升級(jí)版Mercury 2問(wèn)世,在推理和多智能體日益進(jìn)入主流視線的今天,帶來(lái)了更多可能。



事實(shí)上,早在2019年,這家公司的聯(lián)創(chuàng)兼CEO Stefano Ermon就開(kāi)始投身擴(kuò)散模型的研究了。

時(shí)任斯坦福大學(xué)計(jì)算機(jī)科學(xué)教授的Stefano Ermon,很早就思忖著將擴(kuò)散模型應(yīng)用于內(nèi)容生成。

當(dāng)時(shí)主流的圖像生成模型還在使用GAN(生成對(duì)抗網(wǎng)絡(luò)),但他和團(tuán)隊(duì)認(rèn)為結(jié)果“不夠好”,于是開(kāi)始嘗試應(yīng)用Diffusion。

而在看到Diffusion的效果不錯(cuò)后(后來(lái)Midjourney、DALL-E等都是用這種方法),他們開(kāi)始將研究目光轉(zhuǎn)向文本和代碼生成。

  • 圖像由連續(xù)的像素構(gòu)成,而文本由離散的token構(gòu)成。之前成功的擴(kuò)散模型理論(如去噪得分匹配)是建立在連續(xù)空間上的,無(wú)法直接遷移到文本。

于是在2023年,他和團(tuán)隊(duì)發(fā)表了一篇關(guān)鍵性論文《Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution》,里面介紹了一種名為Score Entropy Discrete Diffusion models(SEDD)的模型。

該模型創(chuàng)新性提出了“分?jǐn)?shù)熵”(score entropy)這一全新?lián)p失函數(shù),它巧妙地將連續(xù)空間的分?jǐn)?shù)匹配理論擴(kuò)展到了離散數(shù)據(jù)領(lǐng)域。

這使得擴(kuò)散模型能夠像理解圖像一樣,去理解和生成語(yǔ)言。



論文結(jié)果表明,SEDD的表現(xiàn)明顯優(yōu)于當(dāng)時(shí)已有的語(yǔ)言模型,困惑度比未退火(未使用“動(dòng)態(tài)調(diào)整溫度”這個(gè)優(yōu)化技巧)的GPT-2好6-8倍。

(注:后來(lái)這篇論文還獲得了ICML 2024最佳論文獎(jiǎng))

見(jiàn)此,Stefano Ermon決定通過(guò)創(chuàng)業(yè)將技術(shù)價(jià)值放大。

于是在2024年夏天,他邀請(qǐng)美國(guó)加利福尼亞大學(xué)洛杉磯分校教授Aditya Grover(左)和美國(guó)康奈爾大學(xué)教授Volodymyr Kuleshov(右)加入Inception Labs。



去年11月,這家公司還宣布獲得了5000萬(wàn)美元融資,而且投資陣容相當(dāng)豪華。

除了NVentures(英偉達(dá)風(fēng)投部門(mén))、M12(微軟旗下風(fēng)險(xiǎn)基金)、Menlo Ventures (領(lǐng)投方、知名長(zhǎng)期風(fēng)投機(jī)構(gòu))等明星機(jī)構(gòu),還不乏吳恩達(dá)、卡帕西這些AI大佬。

可以說(shuō),堅(jiān)持走擴(kuò)散模型路子的Inception Labs始終穩(wěn)扎穩(wěn)打并獲得市場(chǎng)支持。

最后順便一提,Mercury 2目前暫無(wú)開(kāi)源計(jì)劃,不過(guò)其API全面兼容OpenAI標(biāo)準(zhǔn)。

感興趣的朋友也可親自上手一試了。

體驗(yàn)地址:
https://chat.inceptionlabs.ai/

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
上海房地產(chǎn)新政,對(duì)房?jī)r(jià)影響

上海房地產(chǎn)新政,對(duì)房?jī)r(jià)影響

譚談投研
2026-02-25 21:22:25
看看狀元張謇的殿試卷,這才叫書(shū)法,清帝退位詔書(shū)也是他寫(xiě)的!

看看狀元張謇的殿試卷,這才叫書(shū)法,清帝退位詔書(shū)也是他寫(xiě)的!

芊芊子吟
2026-02-25 11:30:03
“去中國(guó)化”最徹底的4個(gè)國(guó)家,有一個(gè)已經(jīng)完全西化了

“去中國(guó)化”最徹底的4個(gè)國(guó)家,有一個(gè)已經(jīng)完全西化了

北緯的咖啡豆
2026-02-24 09:16:33
四戰(zhàn)83中28鐵到哭!格林遭嘲諷吹噓過(guò)度 美媒:火箭換走KD贏麻了

四戰(zhàn)83中28鐵到哭!格林遭嘲諷吹噓過(guò)度 美媒:火箭換走KD贏麻了

顏小白的籃球夢(mèng)
2026-02-25 17:53:00
韓國(guó)女星金賽綸去世1年后遺作將上映,導(dǎo)演:內(nèi)心一直很忐忑;韓國(guó)警方:針對(duì)金秀賢等的調(diào)查接近尾聲,很快得出結(jié)論

韓國(guó)女星金賽綸去世1年后遺作將上映,導(dǎo)演:內(nèi)心一直很忐忑;韓國(guó)警方:針對(duì)金秀賢等的調(diào)查接近尾聲,很快得出結(jié)論

大象新聞
2026-02-26 11:45:09
你經(jīng)歷過(guò)道德綁架嗎?網(wǎng)友:事實(shí)證明沒(méi)有道德就不會(huì)被綁架

你經(jīng)歷過(guò)道德綁架嗎?網(wǎng)友:事實(shí)證明沒(méi)有道德就不會(huì)被綁架

帶你感受人間冷暖
2026-02-21 19:12:24
恒大到底如何虧出八千億的?終于搞懂了!許家印不跑是有原因的!

恒大到底如何虧出八千億的?終于搞懂了!許家印不跑是有原因的!

歷史偉人錄
2026-02-25 18:17:16
機(jī)場(chǎng)安檢時(shí),筆記本電腦為啥要單獨(dú)拿出來(lái)掃描?不是多此一舉嗎?

機(jī)場(chǎng)安檢時(shí),筆記本電腦為啥要單獨(dú)拿出來(lái)掃描?不是多此一舉嗎?

向航說(shuō)
2026-02-23 00:50:03
【觀察】從2比5到3比0,尤文圖斯距離奇跡只差一步

【觀察】從2比5到3比0,尤文圖斯距離奇跡只差一步

體壇周報(bào)
2026-02-26 11:07:14
新加坡住了一年才敢說(shuō):被吹上天的居者有其屋,其實(shí)是一地雞毛

新加坡住了一年才敢說(shuō):被吹上天的居者有其屋,其實(shí)是一地雞毛

天下霸奇
2026-02-24 08:09:25
WTT大滿貫!女單8強(qiáng)對(duì)陣出爐,蒯曼苦戰(zhàn)逆轉(zhuǎn),伊藤美誠(chéng)強(qiáng)勢(shì)零封

WTT大滿貫!女單8強(qiáng)對(duì)陣出爐,蒯曼苦戰(zhàn)逆轉(zhuǎn),伊藤美誠(chéng)強(qiáng)勢(shì)零封

漫川舟船
2026-02-26 11:21:25
精神小妹的生活原來(lái)是這樣的!網(wǎng)友:終于知道她們?yōu)樯抖歼@么瘦了

精神小妹的生活原來(lái)是這樣的!網(wǎng)友:終于知道她們?yōu)樯抖歼@么瘦了

深度報(bào)
2026-02-11 23:35:03
皇馬光速驅(qū)逐行納粹禮球迷+終身禁入伯納烏 長(zhǎng)達(dá)5天無(wú)視辱華爭(zhēng)議

皇馬光速驅(qū)逐行納粹禮球迷+終身禁入伯納烏 長(zhǎng)達(dá)5天無(wú)視辱華爭(zhēng)議

風(fēng)過(guò)鄉(xiāng)
2026-02-26 09:04:14
陪睡陪玩只是冰山一角!萬(wàn)達(dá)蒸發(fā)820億,王思聰再陷丑聞

陪睡陪玩只是冰山一角!萬(wàn)達(dá)蒸發(fā)820億,王思聰再陷丑聞

風(fēng)信子的花
2026-02-25 14:50:42
江西一家5口自駕返程遇車禍致1死4傷 目擊者稱一半車身被大貨車擠壓在護(hù)欄上

江西一家5口自駕返程遇車禍致1死4傷 目擊者稱一半車身被大貨車擠壓在護(hù)欄上

閃電新聞
2026-02-25 09:57:16
三孩政策刺激無(wú)果后,中央下狠手了!新政策讓3代人拍手叫好

三孩政策刺激無(wú)果后,中央下狠手了!新政策讓3代人拍手叫好

吃青菜長(zhǎng)高
2026-02-24 20:11:17
開(kāi)年“搶負(fù)債”大戰(zhàn)升溫!多家銀行密集推出年終獎(jiǎng)專屬理財(cái)

開(kāi)年“搶負(fù)債”大戰(zhàn)升溫!多家銀行密集推出年終獎(jiǎng)專屬理財(cái)

南方都市報(bào)
2026-02-25 20:37:10
西方航空專家:C919不可能5年內(nèi)換發(fā)動(dòng)機(jī)2026年CJ-1000A準(zhǔn)備量產(chǎn)

西方航空專家:C919不可能5年內(nèi)換發(fā)動(dòng)機(jī)2026年CJ-1000A準(zhǔn)備量產(chǎn)

林子說(shuō)事
2026-02-26 11:07:50
“13萬(wàn)元奢侈品被15歲女兒9300元賤賣(mài)”最新消息:新人物出現(xiàn),家長(zhǎng)與回收方達(dá)成初步協(xié)議

“13萬(wàn)元奢侈品被15歲女兒9300元賤賣(mài)”最新消息:新人物出現(xiàn),家長(zhǎng)與回收方達(dá)成初步協(xié)議

極目新聞
2026-02-25 21:24:20
蘋(píng)果煮水的厲害之處!99%的人都沒(méi)摸清門(mén)道,這樣煮才是養(yǎng)生王道

蘋(píng)果煮水的厲害之處!99%的人都沒(méi)摸清門(mén)道,這樣煮才是養(yǎng)生王道

寶哥精彩賽事
2026-02-25 11:40:49
2026-02-26 12:28:49
量子位 incentive-icons
量子位
追蹤人工智能動(dòng)態(tài)
12204文章數(shù) 176394關(guān)注度
往期回顧 全部

科技要聞

單季營(yíng)收681億凈利429億!英偉達(dá)再次炸裂

頭條要聞

"霍金與比基尼女性同游照"現(xiàn)愛(ài)潑斯坦檔案 曾被"辟謠"

頭條要聞

"霍金與比基尼女性同游照"現(xiàn)愛(ài)潑斯坦檔案 曾被"辟謠"

體育要聞

從排球少女到冰壺女神,她在米蘭冬奧練出6塊腹肌

娛樂(lè)要聞

尼格買(mǎi)提撒貝寧滑雪被偶遇 17年老友情

財(cái)經(jīng)要聞

短劇市場(chǎng)風(fēng)云突變!有人投百萬(wàn)賠得精光

汽車要聞

第五代宏光MINIEV煥新 四門(mén)玩趣代步車來(lái)襲

態(tài)度原創(chuàng)

藝術(shù)
房產(chǎn)
游戲
健康
教育

藝術(shù)要聞

2025年百家金陵畫(huà)展 | 油畫(huà)作品選刊

房產(chǎn)要聞

2.2萬(wàn)/m2起!三亞主城性價(jià)比標(biāo)桿 海墾·桃花源實(shí)景現(xiàn)房春節(jié)被瘋搶

外媒給《生化9》打滿分:《生化》系列的終極之作

轉(zhuǎn)頭就暈的耳石癥,能開(kāi)車上班嗎?

教育要聞

儲(chǔ)殷:反對(duì)孩子刷題,未來(lái)20年經(jīng)歷最大變化

無(wú)障礙瀏覽 進(jìn)入關(guān)懷版