Baseten、DeepInfra、Fireworks AI 和 Together AI 正通過在 NVIDIA Blackwell 平臺(tái)上運(yùn)行優(yōu)化的推理堆棧，幫助各行業(yè)降低每 token 成本。

一次醫(yī)療領(lǐng)域的診斷洞察、一次互動(dòng)游戲中角色的對(duì)話、一次來(lái)自客服代理的自主解決方案——這些由 AI 驅(qū)動(dòng)的交互，皆基于同一智能單元：一個(gè) token。

要擴(kuò)展這些 AI 交互，企業(yè)需要考慮是否能夠承擔(dān)更多 token 成本。答案在于更優(yōu)的 Token 經(jīng)濟(jì)學(xué)（tokenomics）——其核心在于降低每個(gè) token 的成本。這種下降趨勢(shì)正在各行各業(yè)中顯現(xiàn)。

近期麻省理工學(xué)院研究發(fā)現(xiàn)，基礎(chǔ)設(shè)施與算法效率的提升使前沿水平性能的推理成本正逐年降低至原來(lái)的 1/10。

要理解基礎(chǔ)設(shè)施效率如何提升 tokenomics，可以把它類比為一臺(tái)高速印刷機(jī)。如果這臺(tái)印刷機(jī)只需在油墨、能源和設(shè)備本身上進(jìn)行小幅追加投資，就能實(shí)現(xiàn) 10 倍的產(chǎn)出，那么每頁(yè)印刷成本自然會(huì)下降。同理，對(duì) AI 基礎(chǔ)設(shè)施的投資如果能帶來(lái)遠(yuǎn)超預(yù)期的 token 產(chǎn)出，就會(huì)顯著降低每個(gè) token 的成本。

正因如此，包括 Baseten、DeepInfra、Fireworks AI 和 Together AI 在內(nèi)的領(lǐng)先推理服務(wù)提供商紛紛采用 NVIDIA Blackwell 平臺(tái)。Blackwell 平臺(tái)幫助這些企業(yè)將每個(gè) token 的成本最多可降至 NVIDIA Hopper 平臺(tái)的 1/10。

這些提供商托管著先進(jìn)的開源模型，其智能水平現(xiàn)已達(dá)前沿級(jí)別。通過融合開源的前沿智能、NVIDIA Blackwell 極致的軟硬件協(xié)同設(shè)計(jì)以及自主優(yōu)化的推理堆棧，這些服務(wù)商正助力各行各業(yè)的企業(yè)實(shí)現(xiàn) token 成本的大幅降低。

以上為摘要內(nèi)容，點(diǎn)擊鏈接閱讀完整內(nèi)容：領(lǐng)先推理提供商借助基于 NVIDIA Blackwell 平臺(tái)的開源模型，將 AI 成本削減至 1/10 | NVIDIA 英偉達(dá)博客