開(kāi)源模型都在用的重要推理框架vLLM，核心團(tuán)隊(duì)宣布創(chuàng)業(yè)了！

創(chuàng)始團(tuán)隊(duì)官宣，成立新公司Inferact，種子輪即斬獲1.5億美元（約10.5億人民幣）融資，估值達(dá)8億美元（約56億人民幣）。

這一規(guī)模創(chuàng)下了近期AI基礎(chǔ)設(shè)施領(lǐng)域的融資新高，也是有史以來(lái)規(guī)模最大的種子輪融資之一。

投資方指出，隨著AI應(yīng)用落地，行業(yè)焦點(diǎn)正從訓(xùn)練轉(zhuǎn)向推理，如何低成本、高可靠地運(yùn)行現(xiàn)有模型已成為新的痛點(diǎn)。

Inferact正是為了解決這一“推理瓶頸”而生，旨在構(gòu)建下一代商業(yè)引擎以應(yīng)對(duì)大規(guī)模部署挑戰(zhàn)。

出任CEO的Simon Mo也表示，這反映了市場(chǎng)機(jī)遇的廣闊，因?yàn)樵谕评硪?guī)模化階段，即使是微小的效率提升也能帶來(lái)顯著的成本節(jié)省。

vLLM商業(yè)化，Inferact正式成立

本次1.5億美元的種子輪融資由Andreessen Horowitz（a16z）與Lightspeed Venture Partners共同領(lǐng)投。

除了兩大領(lǐng)投方，跟投名單中還出現(xiàn)了紅杉資本（Sequoia Capital）、Altimeter Capital、Redpoint Ventures以及真格基金（ZhenFund）。

如此豪華的投資規(guī)模集中在一家剛成立的初創(chuàng)公司身上，顯示出資本市場(chǎng)對(duì)于AI基礎(chǔ)設(shè)施賽道風(fēng)向的劇烈轉(zhuǎn)變。

a16z合伙人Matt Bornstein指出，隨著大模型能力趨于成熟，開(kāi)發(fā)者已不再單純等待模型架構(gòu)的更新，而是開(kāi)始大規(guī)模部署現(xiàn)有模型。

這一轉(zhuǎn)變帶來(lái)了新的難題，即當(dāng)應(yīng)用程序需要頻繁與大模型進(jìn)行交互時(shí)，算力成本和系統(tǒng)負(fù)載會(huì)呈指數(shù)級(jí)上升，推理環(huán)節(jié)因此成為制約行業(yè)發(fā)展的最大瓶頸。

市場(chǎng)對(duì)于低成本、高可靠運(yùn)行現(xiàn)有模型的需求，目前已經(jīng)超過(guò)了對(duì)新模型研發(fā)的期待。

作為Inferact的技術(shù)基石，vLLM在此之前已經(jīng)進(jìn)入了工業(yè)界的實(shí)際生產(chǎn)環(huán)境。

亞馬遜目前已采用該技術(shù)，而且是直接應(yīng)用于自身核心購(gòu)物應(yīng)用的內(nèi)部系統(tǒng)。

這種來(lái)自萬(wàn)億級(jí)商業(yè)場(chǎng)景的實(shí)際部署，在真實(shí)的高并發(fā)流量下驗(yàn)證了技術(shù)的穩(wěn)定性，也讓資本市場(chǎng)看到了技術(shù)在大規(guī)模商業(yè)落地上的確定性。

面對(duì)開(kāi)源與商業(yè)化的平衡問(wèn)題，Inferact目前的策略是維持雙線并行。

公司明確表示將繼續(xù)支持vLLM作為一個(gè)獨(dú)立的開(kāi)源項(xiàng)目發(fā)展，并將技術(shù)改進(jìn)回饋給社區(qū)。

在商業(yè)層面，團(tuán)隊(duì)將目光投向了硬件適配的效率問(wèn)題，計(jì)劃開(kāi)發(fā)獨(dú)立的商業(yè)產(chǎn)品，幫助企業(yè)在不同類型的硬件上運(yùn)行AI模型。

從vLLM到Inferact

vLLM創(chuàng)立之初，團(tuán)隊(duì)自己都認(rèn)為是一個(gè)“副業(yè)”項(xiàng)目。

但如今的Inferact時(shí)刻前夕，vLLM已成為大模型領(lǐng)域的事實(shí)標(biāo)準(zhǔn)，幾乎所有主流開(kāi)源大模型在發(fā)布與部署時(shí)，都會(huì)將vLLM作為首選支持的推理框架。

在a16z合伙人Matt Bornstein主持的深度對(duì)談中，Simon Mo和Woosuk Kwon回溯了vLLM如何從一個(gè)不起眼的“副業(yè)”一步步走到聚光燈下的全過(guò)程。

最初，vLLM僅僅是兩人在伯克利求學(xué)期間的一個(gè)Side Project，驅(qū)動(dòng)代碼更新的動(dòng)力源于一種極其樸素的技術(shù)信仰——

他們堅(jiān)信，在這個(gè)大模型重塑世界的時(shí)代，開(kāi)源代碼必須是全球AI基礎(chǔ)設(shè)施的地基。

這種純粹的初衷，讓vLLM在沒(méi)有商業(yè)推廣的情況下，迅速成為了開(kāi)發(fā)者社區(qū)的寵兒。

然而，隨著項(xiàng)目從實(shí)驗(yàn)室走向工業(yè)界，團(tuán)隊(duì)的角色發(fā)生了質(zhì)的轉(zhuǎn)變。

作為核心維護(hù)者，他們不僅是在寫(xiě)代碼，更是在與全球最頂尖的開(kāi)發(fā)者協(xié)作，這種高強(qiáng)度的社區(qū)互動(dòng)成為了他們技術(shù)能力的“煉金石”。

他們積累了獨(dú)有的技術(shù)洞察，并確立了在行業(yè)內(nèi)的權(quán)威身份，構(gòu)成了后來(lái)他們能夠駕馭一家獨(dú)角獸企業(yè)的底層能力。

但在這一過(guò)程中，現(xiàn)實(shí)的引力也越來(lái)越重。他們發(fā)現(xiàn)，當(dāng)推理任務(wù)從簡(jiǎn)單的Demo演示變成數(shù)千張GPU集群的生產(chǎn)級(jí)部署時(shí)，挑戰(zhàn)的量級(jí)呈指數(shù)級(jí)上升。

“推理正在變得越來(lái)越難”，這是團(tuán)隊(duì)在第一線摸爬滾打后得出的痛切結(jié)論。

現(xiàn)有的開(kāi)源方案在面對(duì)深度底層優(yōu)化、大規(guī)模集群的線性擴(kuò)展以及復(fù)雜的GPU部署流程時(shí)，往往顯得力不從心。

企業(yè)需要的不再是零散的代碼庫(kù)，而是能夠穩(wěn)定承載萬(wàn)億次調(diào)用的工業(yè)級(jí)引擎。

為了攻克那些開(kāi)源社區(qū)難以消化的“硬骨頭”，必須引入嚴(yán)密的商業(yè)組織形式構(gòu)建下一代引擎。

與此同時(shí)，為了在商業(yè)化的同時(shí)保證開(kāi)源項(xiàng)目繼續(xù)運(yùn)行，Inferact設(shè)計(jì)了一套獨(dú)特的反哺機(jī)制，利用商業(yè)資源繼續(xù)滋養(yǎng)vLLM，確保這個(gè)曾經(jīng)的副業(yè)項(xiàng)目能繼續(xù)作為行業(yè)的基石繁榮生長(zhǎng)。

伯克利博士攜手清華特獎(jiǎng)

Inferact的CEO由Simon Mo擔(dān)任。

他曾就讀于加州大學(xué)伯克利分校電氣工程與計(jì)算機(jī)科學(xué)系（EECS），主攻機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì)方向。

在此之前，他是Anyscale的早期工程師，積累了將分布式系統(tǒng)科研成果轉(zhuǎn)化為工業(yè)級(jí)產(chǎn)品的工程實(shí)踐經(jīng)驗(yàn)。

作為vLLM項(xiàng)目的原始維護(hù)者之一，他主要負(fù)責(zé)項(xiàng)目的工程化構(gòu)建與社區(qū)運(yùn)營(yíng)。

另一位聯(lián)合創(chuàng)始人是vLLM項(xiàng)目的發(fā)起人Woosuk Kwon。

他擁有加州大學(xué)伯克利分校計(jì)算機(jī)科學(xué)博士學(xué)位，師從Ion Stoica教授，研究重點(diǎn)聚焦于大語(yǔ)言模型的高效服務(wù)系統(tǒng)。

他在博士期間提出了Paged Attention算法，通過(guò)引入操作系統(tǒng)中分頁(yè)內(nèi)存管理的思想，解決了KV Cache顯存碎片化問(wèn)題，這一算法創(chuàng)新為vLLM在吞吐量性能上的提升提供了核心技術(shù)支撐。

團(tuán)隊(duì)的核心技術(shù)力量還包括清華特獎(jiǎng)得主游凱超（Kaichao You）。

他曾在加州大學(xué)伯克利分校EECS系擔(dān)任訪問(wèn)學(xué)者，主攻分布式深度學(xué)習(xí)系統(tǒng)。

作為vLLM的關(guān)鍵維護(hù)者，他主導(dǎo)了基于張量并行的分布式推理功能實(shí)現(xiàn)，并優(yōu)化了與PyTorch原生生態(tài)的集成接口，使得vLLM能夠支持多卡大規(guī)模模型推理并降低了開(kāi)發(fā)者的遷移成本。

此外，核心團(tuán)隊(duì)與顧問(wèn)團(tuán)還集結(jié)了學(xué)術(shù)界與工業(yè)界的資深力量。

前Roblox高級(jí)機(jī)器學(xué)習(xí)工程師Roger Wang作為核心成員加入，為團(tuán)隊(duì)帶來(lái)了生產(chǎn)級(jí)基礎(chǔ)設(shè)施的實(shí)戰(zhàn)經(jīng)驗(yàn)；

加州大學(xué)伯克利分校教授Joseph Gonzalez以及Databricks聯(lián)合創(chuàng)始人Ion Stoica教授則作為顧問(wèn)深度參與其中，為公司提供技術(shù)愿景與商業(yè)路徑的頂層指導(dǎo)。

參考鏈接：
[1]https://www.bloomberg.com/news/articles/2026-01-22/andreessen-backed-inferact-raises-150-million-in-seed-round
[2]https://x.com/a16z/status/2014394081452163231

文章來(lái)源：量子位。