国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

英偉達(dá)XR-AI Scientist亮相:叢樂、王夢迪團(tuán)隊(duì)把“AI科學(xué)家”送進(jìn)實(shí)驗(yàn)室|甲子光年

0
分享至




從CRISPR-GPT到LabOS,他們想把人從實(shí)驗(yàn)中解脫出來。

作者|蘇霍伊

編輯|王博

10月底,英偉達(dá)官網(wǎng)悄然上線了一個(gè)專題頁面:NVIDIA XR-AI。


NVIDIA XR-AI是一個(gè)將XR設(shè)備(如輕量化AR/AI眼鏡或頭戴式顯示器)與組織的全部算力資源連接起來的平臺,由英偉達(dá)和叢樂團(tuán)隊(duì)等合作發(fā)布。它讓具備空間感知能力的智能體(agents)能在云端、數(shù)據(jù)中心、工作站及邊緣環(huán)境中無縫運(yùn)行。


簡單來說,這是一套令XR設(shè)備“真正變聰明”的AI平臺。

過去的AR眼鏡,更多像是一個(gè)“顯示屏”,只能把信息投射在你眼前。而他們合作的核心就是給這些設(shè)備接上強(qiáng)大的算力和模型,讓它們變成一個(gè)能看、能聽、能理解、還能做決策的智能體。

這正源自叢樂和王夢迪在做的LabOS。


叢樂(圖左)、王夢迪(圖右),圖片來源:受訪者


斯坦福大學(xué)醫(yī)學(xué)院病理學(xué)與遺傳學(xué)系終身教授叢樂、普林斯頓大學(xué)電氣與計(jì)算機(jī)工程系兼統(tǒng)計(jì)與機(jī)器學(xué)習(xí)中心教授王夢迪團(tuán)隊(duì)聯(lián)合英偉達(dá)與XR智能眼鏡廠商VITURE,通過多項(xiàng)突破性系統(tǒng),率先推進(jìn)XR-AI在實(shí)驗(yàn)室科學(xué)中的深度融合與應(yīng)用。

其中主要涉及兩項(xiàng)技術(shù)突破:LabOS和CRISPR-GPT。


LabOS是一個(gè)AI-XR協(xié)同科學(xué)家(AI-XR Co-Scientist),能夠在真實(shí)實(shí)驗(yàn)室中“看見、推理、并與人協(xié)作”的智能體,把干實(shí)驗(yàn)室里的研究設(shè)計(jì),與濕實(shí)驗(yàn)室的實(shí)際操作、機(jī)器人智能執(zhí)行無縫銜接起來。

而CRISPR-GPT則可提供AI指導(dǎo)的基因編輯能力,使研究人員在首次使用由LabOS驅(qū)動(dòng)并基于NVIDIA XR AI平臺的智能眼鏡時(shí),成功完成基因敲除和表觀遺傳修飾的實(shí)驗(yàn)。


在上個(gè)月舉辦的華盛頓GTC中,黃仁勛主題演講前的開幕視頻就展示了叢樂和王夢迪團(tuán)隊(duì)的這項(xiàng)成果。


叢樂和王夢迪團(tuán)隊(duì)的LabOS演示畫面出現(xiàn)在GTC上,動(dòng)圖來源:英偉達(dá)


11月18日,英偉達(dá)在其硅谷總部組織了一場閉門會?!讣鬃庸饽辍沽私獾?,叢樂、王夢迪團(tuán)隊(duì)與英偉達(dá)還共同推出了面向?qū)嶒?yàn)驅(qū)動(dòng)科學(xué)的AI+XR基準(zhǔn)體系——LabSuperVision(LSV)Benchmark標(biāo)準(zhǔn),以及對應(yīng)的Leaderboard模型排行榜?!巴瑫r(shí)我們和英偉達(dá)從XR一個(gè)部門的合作拓展到三個(gè)部門合作:XR部分, healthcare部門,Robotics/World Model部門。”叢樂介紹。

相比于單一的“agent功能模塊”,LSV希望構(gòu)建XR-AI在實(shí)驗(yàn)科學(xué)中的統(tǒng)一基準(zhǔn):讓不同實(shí)驗(yàn)室貢獻(xiàn)數(shù)據(jù)和場景,形成可跨項(xiàng)目、跨團(tuán)隊(duì)復(fù)用的“實(shí)驗(yàn)環(huán)境理解”能力。

目前在LSV排行榜上,Gemini2.5Pro的表現(xiàn)不錯(cuò),領(lǐng)先所有商業(yè)模型。但拿下最高分的仍是LabOS團(tuán)隊(duì)開發(fā)的LabOS-VLM-235B,而且比Gemini的分?jǐn)?shù)高出47%之多。


LSV Benchmark 的官方模型排行榜(LLM Leaderboard),圖片來源:受訪者提供

過去相當(dāng)長一段時(shí)間,XR的主流價(jià)值仍停留在“沉浸感”層面——娛樂、培訓(xùn)、數(shù)字孿生更多是錦上添花,而非生產(chǎn)流程的核心工具,原因在于其缺乏智能決策能力、難以融入真實(shí)業(yè)務(wù)閉環(huán),導(dǎo)致技術(shù)光環(huán)大于實(shí)際產(chǎn)出。

XR一度被視為“過氣”技術(shù),本質(zhì)是它還是停留在“看得更真實(shí)”,而不是“干得更有效”。

叢樂、王夢迪團(tuán)隊(duì)推動(dòng)的“XR-AI”,很可能成為改變這一局面的關(guān)鍵力量。它將XR從“感知終端”升級為“智能執(zhí)行界面”,通過AI賦予其理解環(huán)境、判斷情境、實(shí)時(shí)介入操作的能力,讓其真正嵌入科研這樣的高價(jià)值場景,成為流程中的“決策節(jié)點(diǎn)”而不是旁觀工具。

“LabOS可以被當(dāng)做是AI導(dǎo)師,不需要手把手培訓(xùn)或長時(shí)間試錯(cuò),就能指導(dǎo)新手達(dá)到專家級水平?!蓖鯄舻细嬖V「甲子光年」。當(dāng)真人科學(xué)家走進(jìn)實(shí)驗(yàn)室時(shí),無論是沒有按無菌規(guī)范操作,還是將試劑孵育時(shí)間做出了偏差,LabOS都會把這些細(xì)節(jié)逐條記錄,并給出提醒和糾正建議。

如果把LabOS理解成一個(gè)操作系統(tǒng),CRISPR-GPT就是其中一款應(yīng)用。”叢樂說。與LabOS那種“把導(dǎo)師的眼睛裝進(jìn)實(shí)驗(yàn)室”的方式不同,CRISPR-GPT更像是把整套“基因?qū)W”封裝進(jìn)了一個(gè)始終在線的虛擬研究助理中,讓它能提供專家級的實(shí)驗(yàn)室“輔助駕駛”(copilot)。

CRISPR(成簇規(guī)律間隔的短回文重復(fù)序列)是一種源自細(xì)菌免疫機(jī)制、可對DNA進(jìn)行精準(zhǔn)“剪切和改寫”的革命性基因編輯技術(shù),被譽(yù)為改寫生命代碼的“基因剪刀”。

叢樂團(tuán)隊(duì)主要負(fù)責(zé)數(shù)據(jù)、模型與實(shí)際應(yīng)用場景的開發(fā),而王夢迪團(tuán)隊(duì)更專注于強(qiáng)化學(xué)習(xí)。在雙方團(tuán)隊(duì)的努力下,實(shí)驗(yàn)室不再只是一個(gè)“操作空間”,而開始變成一個(gè)能夠?qū)W習(xí)、理解并參與實(shí)驗(yàn)推演的系統(tǒng):一個(gè)過去只能依賴“人”的實(shí)驗(yàn)現(xiàn)場,正在被重新定義;科研的邊界,也因此開始出現(xiàn)新的可能性。

1.CRISPR-GPT:一個(gè)能夠加速實(shí)驗(yàn)進(jìn)程的智能體,有望拯救更多生命

實(shí)驗(yàn)室里的現(xiàn)實(shí)常比想象更“混亂”一些。

研究人員在腦海中把路徑畫得清清楚楚:哪一步該做什么、哪一條反應(yīng)鏈會往哪里走、最后應(yīng)該看到什么結(jié)果。但真正站在實(shí)驗(yàn)臺前,許多事情并不會按照思想的軌道運(yùn)行。如試劑溫度比預(yù)期低了半度,混勻的力度略微輕了一些,手上不自覺的一個(gè)停頓,就足以讓結(jié)果偏出原本的方向。

這種落差并不是誰的錯(cuò),而是實(shí)驗(yàn)本身的樣子。

生物、材料這些學(xué)科至今沒有一個(gè)足夠精確的模擬系統(tǒng)來替代反復(fù)試驗(yàn),人只能在一次次操作中摸索、修正。

更讓人無奈的是,結(jié)果并不會因?yàn)槟阋庾R到這個(gè)問題而變得“更聽話”。2016年Nature團(tuán)隊(duì)曾發(fā)布了一項(xiàng)再現(xiàn)性調(diào)查里,超70%的生物醫(yī)學(xué)研究者無法復(fù)現(xiàn)別人的實(shí)驗(yàn),超50%的研究者連自己的實(shí)驗(yàn)都難以重復(fù)。

不是科學(xué)家不夠謹(jǐn)慎,而是實(shí)驗(yàn)執(zhí)行天然帶著太多隱含的變量。思想很清晰,動(dòng)作卻無法完全對齊;設(shè)計(jì)很正確,執(zhí)行始終不夠穩(wěn)定。

“實(shí)驗(yàn)執(zhí)行過程中的跑偏多數(shù)和設(shè)計(jì)無關(guān) ,是你的手、眼和注意力無法保持機(jī)器般的穩(wěn)定?!眳矘犯嬖V「甲子光年」,“所以我想把智能眼鏡、機(jī)器人和AI拉到同一張實(shí)驗(yàn)臺前?!?/p>

由此在2023年,叢樂把目光先落在了最鋒利、也最難駕馭的一把“基因剪刀”上——CRISPR。

事實(shí)上,在麻省理工學(xué)院讀博期間,他便是第一批CRISPR成功用于哺乳動(dòng)物基因編輯并證明其可行性的人,也是全球最早、最核心的CRISPR技術(shù)推動(dòng)者之一。

CRISPR這項(xiàng)基因編輯技術(shù)足夠強(qiáng)大,卻也格外“任性”。

實(shí)驗(yàn)時(shí)如果想在DNA上精準(zhǔn)落刀,科學(xué)家除了需要判斷哪個(gè)片段是真正的“罪魁禍?zhǔn)住?,還得在海量可能方案里選出一條相對安全的路徑:哪里切、切幾次、用什么載體、怎么控制脫靶等。

即使是經(jīng)驗(yàn)豐富的研究人員,也得常在文獻(xiàn)、實(shí)驗(yàn)記錄、導(dǎo)師口耳相傳的經(jīng)驗(yàn)之間“輾轉(zhuǎn)反復(fù)”,經(jīng)過一輪又一輪試錯(cuò),才能把一套操作流程走順。

而CRISPR-GPT就是把這一段最耗時(shí)、最依賴經(jīng)驗(yàn)的部分,交給不會疲憊的大腦來先“過一遍”,就像在原有流程上加了一層“緩沖區(qū)”:把錯(cuò)誤盡可能攔在“腦海里的設(shè)計(jì)”和“真正操作的手”之間。

但起初,項(xiàng)目的推進(jìn)并不順利。

叢樂嘗試聯(lián)系多家基因編輯實(shí)驗(yàn)室,希望獲得更多數(shù)據(jù)來支撐論文。只是回應(yīng)寥寥,進(jìn)入論文的外部數(shù)據(jù)大多來自他們搭建的一個(gè)社區(qū)論壇。

技術(shù)走得太前,也會‘脫節(jié)’?!?/strong>叢樂感嘆。對他而言,技術(shù)超前反倒成了項(xiàng)目早期實(shí)現(xiàn)的阻力。當(dāng)時(shí)大部分AI Agent相關(guān)論文甚至連實(shí)驗(yàn)驗(yàn)證都沒有,他是最早讓AI Agent真正跑進(jìn)實(shí)驗(yàn)室的那批人。

甚至AI Agent還不是一個(gè)廣為人知的概念。那段時(shí)間,叢樂與實(shí)驗(yàn)室溝通時(shí),總會從同一個(gè)問題開始:“什么是AI Agent?”

認(rèn)知落差、執(zhí)行端的缺口,以及模型與實(shí)驗(yàn)之間的縫隙,都讓“開發(fā)GRISPR-GPT”變得更為迫切:如果沒有一個(gè)由科學(xué)家自己參與研發(fā),能把設(shè)計(jì)、觀察、引導(dǎo)與執(zhí)行接起來的系統(tǒng),這類agents就不能真的被科學(xué)家們信任和使用。

在斯坦福醫(yī)學(xué)院,叢樂團(tuán)隊(duì)用十余年的專家討論記錄和已發(fā)表論文,訓(xùn)練出一個(gè)面向CRISPR的大模型,它能理解科學(xué)家習(xí)以為常的輸入方式:一段實(shí)驗(yàn)背景、一段目標(biāo)描述或一串序列信息。CRISPR-GPT再生成一套“有理有據(jù)”的設(shè)計(jì),包括為什么選這條通路;類似實(shí)驗(yàn)里哪些步驟容易出問題;哪里需要增加對照;哪些參數(shù)可以作為第一輪嘗試的起點(diǎn)等。


CRISPR-GPT的結(jié)構(gòu)拆解,圖片來源:受訪者

叢樂的期待并不“空洞”。

他希望新藥開發(fā)的早期試錯(cuò)不再以“以年為單位”來計(jì)算,可以被壓縮到幾個(gè)月甚至更短的尺度。“擁有一個(gè)能夠加速實(shí)驗(yàn)進(jìn)程的智能體,最終有望幫助拯救更多生命?!眳矘犯嬖V「甲子光年」,即便是第一次接觸CRISPR的學(xué)生,無需通過在黑板和冰箱門之間來回抄寫配方完成訓(xùn)練,僅在這位‘隨叫隨到的資深助理’協(xié)助下,就能快速完成一套規(guī)范實(shí)驗(yàn)。

比如他課題組的一名學(xué)生,在CRISPR-GPT的幫助下,從黑色素瘤細(xì)胞中成功激活了特定基因,這名學(xué)生給系統(tǒng)輸入得只是一句“日常對話”式的請求:“我想在人體腫瘤細(xì)胞上做一次CRISPR激活實(shí)驗(yàn),應(yīng)該怎么做?”


CRISPR-GPT把研究者的一句話逐步拆解成可執(zhí)行的實(shí)驗(yàn)方案的流程圖,來源:受訪者提供

以往這種嘗試意味著反復(fù)確認(rèn)、來回修改、一次次“看起來差不多”的失敗,而他第一次就做對了。叢樂說,很多科研訓(xùn)練是在“反復(fù)撞南墻”中完成的,“如果有一天能變成‘試一次就成功’,那會是完全不同的科研體驗(yàn)”。

為了適應(yīng)不同階段的研究者,CRISPR-GPT被分成了幾種工作方式:可以像導(dǎo)師一樣按部就班拆解每一個(gè)概念;也能像同行評審那樣與專家一起推演復(fù)雜方案;還可以在研究者只想確認(rèn)某一個(gè)細(xì)節(jié)時(shí),快速給出類似“醫(yī)生查房式”的回答。相比傳統(tǒng)論文,它的回答更成體系,也更貼近真實(shí)決策場景:給出唯一標(biāo)準(zhǔn)答案同時(shí),也會把選項(xiàng)空間和過往教訓(xùn)攤開在用戶面前。

但人的最終決策權(quán)沒有讓渡。

受訪過程中,叢樂一直在表達(dá)“最后拍板的仍然是人類科學(xué)家”。AI不做決策,做的是把信息組織得更清楚,把潛在錯(cuò)誤暴露得更早,讓原本只能“自己踩坑”才能獲得的經(jīng)驗(yàn),提前放到屏幕上。在此基礎(chǔ)上,系統(tǒng)還會檢查研究者已經(jīng)寫好的設(shè)計(jì),并嘗試將成熟的框架遷移到新的疾病、新的細(xì)胞類型上,讓一個(gè)實(shí)驗(yàn)室里積累的“know-how”更容易跨團(tuán)隊(duì)復(fù)用。

需要注意的是,CRISPR-GPT處理的不是普通文本,而是與生命系統(tǒng)直接相連的“操作指令”。

它設(shè)計(jì)的每一步,都可能改變一個(gè)細(xì)胞的命運(yùn),涉及病毒、基因突變、干細(xì)胞和人類遺傳信息。只要鏈路有一個(gè)環(huán)節(jié)失控,風(fēng)險(xiǎn)便會溢出虛擬世界,可能造成無法挽回的生物學(xué)后果。因此CRISPR-GPT的安全閾值必須遠(yuǎn)高于通用大模型,以防止模型生成危險(xiǎn)內(nèi)容和實(shí)驗(yàn)者在無意中跨過生物安全邊界。

CRISPR-GPT的安全約束一開始就被寫進(jìn)底層邏輯中。叢樂把這一點(diǎn)稱作“三層保護(hù)”,后來擴(kuò)展到LabOS的整體架構(gòu)中也是同樣的原則?!耙?yàn)樗猻erve所有的agent,”他說,“安全的閥門必須一直開著。”

第一層來自模型本身的判斷。一旦用戶的輸入帶有明顯越界的傾向——例如涉及病毒編輯,或指向人類胚胎的修改要求,系統(tǒng)會在語言模型的第一步檢測中直接拒絕執(zhí)行。對話不會繼續(xù),指令不會下發(fā),鏈路會在源頭被截?cái)唷?/p>

第二層針對序列信息的敏感性。基因編輯的設(shè)計(jì)不可避免要接觸DNA序列,但只要序列長度超過20個(gè)堿基,就可能泄露個(gè)人遺傳信息。所有超過閾值的序列都不會被送入外部大模型和任何共享的記憶模塊,而是交給一套獨(dú)立的、本地化的私有模型處理。即便系統(tǒng)內(nèi)部調(diào)用了ChatGPT這樣的外部API,它看到的永遠(yuǎn)是一段經(jīng)過截?cái)嗪兔撁艉蟮妮斎?,不能被反推出個(gè)體信息。

第三層來自攻擊面的驗(yàn)證。團(tuán)隊(duì)在論文附錄中加入了系統(tǒng)性的越獄(jailbreaking)與白名單(whitelisting)測試,讓不同研究者嘗試用各種方式誘導(dǎo)模型生成危險(xiǎn)內(nèi)容——比如設(shè)計(jì)某類病毒、修改某種病原體。所有測試過程與結(jié)果都被完整記錄,只為確認(rèn)系統(tǒng)在極端情況下仍不會給出有安全風(fēng)險(xiǎn)的響應(yīng)。

同時(shí)團(tuán)隊(duì)也在計(jì)劃與監(jiān)管和標(biāo)準(zhǔn)制定機(jī)構(gòu)合作,把這種“AI 參與實(shí)驗(yàn)設(shè)計(jì)”的能力納入更清晰的倫理與合規(guī)框架中。

叢樂還補(bǔ)充道,他做CRISPR-GPT不為了替代誰,是為了讓這條“思想到行動(dòng)”的鏈路不再被無形的誤差不斷拉扯。把看不見的變量變得可見,把經(jīng)驗(yàn)性的動(dòng)作變得可記錄,把那些重復(fù)但又無法跳過的步驟交給不會疲倦、不會分心的系統(tǒng),讓人可以把力氣用在真正需要判斷和創(chuàng)造的地方。

2.LabOS:讓AI真正成為實(shí)驗(yàn)中的協(xié)同科學(xué)家

CRISPR-GPT是以對話形式進(jìn)行交互的,但在叢樂向其博士導(dǎo)師張鋒等教授介紹AI Agent時(shí),他們都給出了同一個(gè)反饋:“你有沒有想過,實(shí)驗(yàn)中最累、最慢、最費(fèi)精力的不是在電腦上做設(shè)計(jì),而是做實(shí)驗(yàn)本身?!?/p>

叢樂也意識到,CRISPR-GPT的AI能力不應(yīng)停留在“回答問題”層面。如果設(shè)計(jì)可以通過對話生成,為什么執(zhí)行還要靠人去翻步驟、對照文檔?既然設(shè)計(jì)鏈路已經(jīng)被AI接住,為什么不讓AI接住整個(gè)實(shí)驗(yàn)?

LabOS的想法正是從這冒出的。它把對話生成的設(shè)計(jì)、視覺模型的理解、XR的引導(dǎo)和機(jī)器人的動(dòng)作串成一個(gè)系統(tǒng),再被直接被執(zhí)行。


LabOS示意圖,圖片來源:受訪者提供

在實(shí)際操作中,AI始終以實(shí)時(shí)方式參與實(shí)驗(yàn)流程。

當(dāng)研究人員完成某一步驟時(shí),AI立即在界面上作出響應(yīng),然后根據(jù)需要調(diào)整顯示位置。頭顯設(shè)備在此充當(dāng)了貼身的AI助手,讓人機(jī)協(xié)作在繁瑣步驟中實(shí)現(xiàn)無縫銜接。

研究人員完成關(guān)鍵動(dòng)作后即可離開轉(zhuǎn)向其他工作,后臺AI Agent能夠?qū)崟r(shí)理解其操作意圖,自動(dòng)將任務(wù)銜接給機(jī)器人,機(jī)器人無需額外指令即可繼續(xù)執(zhí)行流程。秘訣在于,頭顯內(nèi)置的攝像頭會持續(xù)回傳實(shí)驗(yàn)畫面,機(jī)器人本體也同步上傳視野數(shù)據(jù),所有信息最后都會進(jìn)入 LabOS。

依托這些數(shù)據(jù),LabOS 在“看”的同時(shí),也夠理解實(shí)驗(yàn)的推進(jìn)邏輯,實(shí)時(shí)掌握人類操作細(xì)節(jié)。當(dāng)研究人員將試管交給機(jī)器人時(shí),系統(tǒng)已自動(dòng)判斷流程進(jìn)度,機(jī)器人亦隨即進(jìn)入下一步操作。整套流程在人、AI和機(jī)器人之間自然流動(dòng)起來。

“你不需要提供任何指示,Agents和AI控制的機(jī)械手完全知道該做什么?!?/strong>叢樂說。

叢樂實(shí)驗(yàn)室的一位科研人員使用XR-AI技術(shù)做基因編輯實(shí)驗(yàn),視頻來源:受訪者

如視頻所示,在CRISPR基因編輯干細(xì)胞實(shí)驗(yàn)中,研究人員先把一段又枯燥又耗時(shí)的步驟交給機(jī)器人:持續(xù)地?cái)嚢?、混勻,讓溶液達(dá)到穩(wěn)定、均一的狀態(tài)。機(jī)械臂在臺前反復(fù)運(yùn)轉(zhuǎn),而人則可以暫時(shí)離開這張實(shí)驗(yàn)臺取要編輯的人體細(xì)胞。等他把細(xì)胞拿回來時(shí),機(jī)器人已經(jīng)把這一階段的準(zhǔn)備工作做完了,實(shí)驗(yàn)隨即進(jìn)入下一步更精細(xì)的操作,目前這部分仍然很難完全交給機(jī)器人,只能由人接手完成。

叢樂分享,這種協(xié)作模式已經(jīng)擴(kuò)展到其他實(shí)驗(yàn)場景,比如他們剛完成一套量子材料實(shí)驗(yàn)室的接入方案?!皫缀跞魏螌W(xué)科的科學(xué)實(shí)驗(yàn)都可以通過類似方式被‘接入’和‘服務(wù)’?!敝皇窃诓牧蠈?shí)驗(yàn)室里,系統(tǒng)不會再調(diào)用“ScienceGPT”,而是換成面向材料研究的“MaterialGPT”。

“本質(zhì)上,我們想做的就是一種操作系統(tǒng)級的體驗(yàn)解決方案?!彼f。

3.讓實(shí)驗(yàn)真正從“設(shè)計(jì)”一路通向“執(zhí)行”

為什么LabOS會選擇眼鏡和機(jī)器人?

叢樂解釋道:“現(xiàn)在包括英偉達(dá)都看到了,機(jī)器人不可能在明天就取代所有人類工作,也不可能立刻進(jìn)入所有科研場景。所以如果人、機(jī)器人和AI需要實(shí)現(xiàn)協(xié)同,就必須在目前這個(gè)2.5代階段,用眼鏡和機(jī)器人一起配合。”

只有人、機(jī)器人與AI在同一個(gè)流程里看見同樣的東西、理解同樣的語境,并在同一時(shí)刻參與決策,這樣干濕實(shí)驗(yàn)的閉環(huán)才真正被跑起來。

那CRISPR-GPT與LabOS又是怎么協(xié)作的?

叢樂沒有強(qiáng)調(diào)技術(shù)細(xì)節(jié)本身,而是回到一個(gè)中心:AI、混合現(xiàn)實(shí)、視覺模型與自動(dòng)化流程的組合,并非為了讓科研“看起來更未來”,是為了讓實(shí)驗(yàn)真正從“設(shè)計(jì)”一路通向“執(zhí)行”,成為一個(gè)連續(xù)而加速的鏈條。

如果研究者提出一個(gè)基因編輯的實(shí)驗(yàn)需求,比如通過“CRISPR-GPT”生成實(shí)驗(yàn)流程,得到的設(shè)計(jì)可以直接通過LabOS 投遞到XR眼鏡的界面中。團(tuán)隊(duì)為此專門訓(xùn)練了一個(gè)視覺多模態(tài)模型VLM,能夠同時(shí)理解protocol的內(nèi)容和眼鏡里看到的人類操作。

“AI可以對齊這兩件事,”他說,“既理解agent設(shè)計(jì)的步驟,也理解人正在做什么?!?/strong>

整個(gè)過程被叢樂拆成三層:

第一層是“設(shè)計(jì)”——AI agent生成實(shí)驗(yàn)流程,并在混合現(xiàn)實(shí)的空間里以沉浸式方式呈現(xiàn); 第二層是“觀察”——眼鏡實(shí)時(shí)回傳畫面,AI根據(jù)視覺理解來觀察操作是否正確; 第三層是“反饋”——AI向研究者指出需要糾正的步驟,或在必要時(shí)直接將指令發(fā)送給機(jī)器人執(zhí)行下一步操作。

“這就是我們?yōu)槭裁赐瑫r(shí)使用眼鏡和混合現(xiàn)實(shí)技術(shù)。”他說。研究者、AI 和物理實(shí)驗(yàn)之間通過視覺模型被編織成一個(gè)可追蹤的閉環(huán)。

在LabOS中,研究者登錄系統(tǒng)后可以創(chuàng)建一個(gè)新的實(shí)驗(yàn)項(xiàng)目,與CRISPR-GPT進(jìn)行交互,提出“我想編輯人類的多能干細(xì)胞”這樣的目標(biāo)。AI 會在界面右側(cè)自動(dòng)展開完整的workflow,從實(shí)驗(yàn)步驟到DNA序列設(shè)計(jì),每一項(xiàng)內(nèi)容都會被逐步生成。

“所有序列都會自動(dòng)出來,然后生成一個(gè)報(bào)告,告訴你每一步應(yīng)該怎么做?!眳矘方榻B。這些內(nèi)容隨后可以直接同步到XR眼鏡,讓研究者在實(shí)驗(yàn)過程中看到步驟提示,實(shí)現(xiàn)從構(gòu)思到執(zhí)行的連續(xù)協(xié)作。

改變不止于模型的思考能力,還有系統(tǒng)對實(shí)驗(yàn)現(xiàn)場的支持方式。但關(guān)于實(shí)驗(yàn)實(shí)時(shí)性的問題也接踵而來:這樣一個(gè)強(qiáng)大的實(shí)驗(yàn)系統(tǒng),需要依賴網(wǎng)絡(luò)實(shí)時(shí)連接嗎?一旦連接中斷,會不會導(dǎo)致操作半途失靈?

叢樂的答案是“本地化”底層的設(shè)計(jì)原則。

LabOS無需遠(yuǎn)程服務(wù)器就能在本地GPU上完成推理與反饋;智能眼鏡通過WiFi或藍(lán)牙將畫面和動(dòng)作實(shí)時(shí)傳回,這種近距離的無線通信足以保證延遲可控。即使網(wǎng)絡(luò)抖動(dòng),實(shí)驗(yàn)進(jìn)行中的關(guān)鍵步驟也不會被中斷。為了支持這種運(yùn)行方式,他們訓(xùn)練的模型規(guī)模被刻意控制在235B(基于Qwen模型)的量級,讓它既能理解復(fù)雜的實(shí)驗(yàn)流程,又能在常規(guī)硬件上保持穩(wěn)定。

從實(shí)驗(yàn)桌的角度看,這種系統(tǒng)并不是要替代實(shí)驗(yàn)者,而是要讓實(shí)驗(yàn)者不再被冗余、重復(fù)、容易出錯(cuò)的環(huán)節(jié)拖慢手腳。只要人能穩(wěn)穩(wěn)地拿起一個(gè)試管,AI就能把后面的鏈路接住。整個(gè)科研訓(xùn)練體系門檻也被重新塑造:不拉低標(biāo)準(zhǔn)地讓每個(gè)人都能更早進(jìn)入“思考”而非“糾錯(cuò)”的階段。

現(xiàn)在叢樂團(tuán)隊(duì)正在沿著兩個(gè)方向推進(jìn)研究。

一是自動(dòng)化。在實(shí)驗(yàn)環(huán)境中,一個(gè)可靠的自動(dòng)化系統(tǒng)必須整合更多感知能力:觸覺、壓力、力反饋、震動(dòng)信號……這些都是人類在無意識中依賴的能力。團(tuán)隊(duì)正在把這些底層傳感器與更靈活的機(jī)械手整合進(jìn)LabOS,讓機(jī)器人不僅能“動(dòng)”,還能“感知”。

二是多模態(tài)大模型。在原有VLM的基礎(chǔ)上做新的嘗試,同時(shí)與普林斯頓大學(xué)鄧嘉教授、紐約大學(xué)計(jì)算機(jī)學(xué)助理教授謝賽寧團(tuán)隊(duì)、及OSU李伏欣教授合作,探索更強(qiáng)的“視覺-動(dòng)作-語義”對齊方式,讓系統(tǒng)理解實(shí)驗(yàn)畫面的同時(shí),還能對環(huán)境做穩(wěn)定的推理。“像謝賽寧團(tuán)隊(duì)最近提出了一個(gè)新的概念,叫‘super sensing(超級感知)’,我們現(xiàn)在正在合作嘗試把這個(gè)概念直接用到實(shí)驗(yàn)室AI4Science系統(tǒng)里。”叢樂說。

4.“人應(yīng)該做更有意義的工作”

交流中,叢樂語速一直很快。

他試圖解釋一個(gè)在學(xué)界仍爭議不斷的觀點(diǎn):科研自動(dòng)化的真正瓶頸不在于算法的能力,關(guān)鍵在于AI在物理世界中的“不夠好”。

在叢樂看來,今天的科研仍被實(shí)驗(yàn)執(zhí)行效率所束縛,學(xué)界在如何推動(dòng)AI參與真實(shí)實(shí)驗(yàn)方面爭論已久?!罢撐睦锊荒軐懙锰?,”他笑著說,“因?yàn)橥饨鐣詾槲覀円呀?jīng)在做‘AI取代人類研究者’了,但實(shí)際并沒有。”

與許多團(tuán)隊(duì)的路徑不同,叢樂的選擇往往是“自己動(dòng)手”。他提到,最初將頭顯技術(shù)從游戲應(yīng)用推向科研場景,就是他主動(dòng)促成的?!爱?dāng)時(shí)幾乎所有智能頭顯公司都在做消費(fèi)場景,學(xué)生也不想戴眼鏡做實(shí)驗(yàn),我需要不斷努力推動(dòng)團(tuán)隊(duì),也很感謝團(tuán)隊(duì)及合作方的信任。”叢樂說。

消費(fèi)場景之外,并非簡單的“用眼鏡輔助科研”。

為了讓AI能夠幫忙執(zhí)行實(shí)驗(yàn),叢樂和團(tuán)隊(duì)從最底層開始搭建系統(tǒng)。這是一項(xiàng)龐大的工程,學(xué)生在實(shí)驗(yàn)中采集數(shù)據(jù);實(shí)驗(yàn)流程(protocol)自己寫;AI agent也是團(tuán)隊(duì)內(nèi)部開發(fā)的。模型的性能讓他頗為自豪,在某些任務(wù)上,團(tuán)隊(duì)研發(fā)的VLM已經(jīng)能夠超越包括Gemini,GPT-4在內(nèi)的主流模型。

比結(jié)果更重要的往往是動(dòng)機(jī)。

叢樂談到自己動(dòng)機(jī):他不認(rèn)為“AI 取代人”是威脅,而是科學(xué)前進(jìn)必需的過程。

“為什么人要做那么費(fèi)勁的實(shí)驗(yàn)?人應(yīng)該提出更牛的想法,比如要上火星,或者基因編輯治好阿爾茨海默癥。”他說。實(shí)驗(yàn)執(zhí)行本身枯燥且耗時(shí),但這正是機(jī)器和AI更擅長的部分。

叢樂認(rèn)為,這個(gè)世界上必然會存在的有兩種人:一種是拒絕被取代,也不愿意接受AI的;另外一種就是希望被AI取代的。

他顯然屬于后一類。

叢樂說得很直接,對他而言“被取代”不代表離開科研領(lǐng)域,而是把耗時(shí)、重復(fù)、但又不可跳過的實(shí)驗(yàn)執(zhí)行環(huán)節(jié)交給機(jī)器,讓人從漫長的操作中抽離出來,做真正推動(dòng)科學(xué)前進(jìn)的事:提出問題、判斷方向、設(shè)計(jì)新的假設(shè)。

換言之,他更在意的是讓科學(xué)家從“做”中解放出來,回到“思考”的位置上。

“如果你的目標(biāo)是開發(fā)治療方案,那是不是要花幾年再學(xué)一遍CRISPR?”過去需要博士生花數(shù)年訓(xùn)練才能熟練掌握的流程,現(xiàn)在縮短成幾天乃至幾小時(shí)的設(shè)計(jì)周期。

傳統(tǒng)實(shí)驗(yàn)室里,從“會拿試管”到“能獨(dú)立做基因編輯和干細(xì)胞實(shí)驗(yàn)”,并不是一個(gè)學(xué)期或一年能跨過的門檻。干細(xì)胞對手勢、溫度、速度的敏感度遠(yuǎn)超教科書描述,CRISPR的每一步設(shè)計(jì)與遞送也充滿隱形變量。大多數(shù)研究者要在長時(shí)間的試錯(cuò)和積累之后,才真正具備獨(dú)立操作這些高精度實(shí)驗(yàn)的能力。

但當(dāng)LabOS與CRISPR-GPT介入之后,耗時(shí)多年的學(xué)習(xí)曲線被幾乎重新塑造。尤其在設(shè)計(jì)環(huán)節(jié)被CRISPR-GPT自動(dòng)化之后,實(shí)驗(yàn)現(xiàn)場也開始被重構(gòu)。

在這個(gè)重構(gòu)的實(shí)驗(yàn)室里,研究者只需要掌握最基礎(chǔ)的實(shí)驗(yàn)動(dòng)作,如試管怎么拿、移液槍的刻度怎么看、無菌臺該如何擺放耗材等。剩下的判斷、流程、參數(shù)設(shè)計(jì),都可以交給LabOS和CRISPR-GPT組成的“智能實(shí)驗(yàn)系統(tǒng)”來完成。叢樂表示,一個(gè)生物醫(yī)學(xué)專業(yè)的大一新生,只要上完最基本的課程,就能在這套系統(tǒng)的輔助下完成過去要博士后才能嘗試的實(shí)驗(yàn)。比如干細(xì)胞相關(guān)的基因編輯,以前看似遙不可及,如今在嚴(yán)格的引導(dǎo)下變得可觸碰、可執(zhí)行。

既然LabOS、AI agent已經(jīng)能把那么多事做到位,一名科學(xué)家真正不可替代的能力還是什么?叢樂的回答很干脆:創(chuàng)造性和前瞻性。

無論是大模型還是LabOS,本質(zhì)上學(xué)的都是人已經(jīng)做過的事情,“人沒做過的東西,它能自己做出來嗎?”在他看來,機(jī)器人可以把人類已經(jīng)驗(yàn)證過的流程執(zhí)行得更好,但“這個(gè)地球上還不存在的東西”從哪里來,仍然得靠人去想。“AI for science在很長一段時(shí)間里都難被取代,”叢樂補(bǔ)了一句,“因?yàn)樽铍y的是看到現(xiàn)在完全不存在的世界?!?/p>

目前,智能協(xié)作已經(jīng)不再局限于生物研究。叢樂介紹道,他們已經(jīng)在構(gòu)建量子材料實(shí)驗(yàn)室的接入方案。當(dāng)場景更換,系統(tǒng)調(diào)用的模型可以從“ScienceGPT”變成“MaterialGPT”,但核心機(jī)制一致:人機(jī)協(xié)同、AI推演、現(xiàn)場感知三者組成的閉環(huán),能夠被復(fù)制到“幾乎所有”實(shí)驗(yàn)體系中。

這也是他做LabOS和CRISPR-GPT的初心。

叢樂始終認(rèn)為,數(shù)字世界中的AI已經(jīng)證明了自己的價(jià)值,如AlphaFold等。如果AI能在物理實(shí)驗(yàn)中像在數(shù)字世界那樣快速迭代,科研將迎來全新的加速度。他相信這件事“應(yīng)該會發(fā)生”,也確信總會有人邁出那一步。

至于誰會率先實(shí)現(xiàn)這一點(diǎn),叢樂沒有做更多延伸,只是淡淡地說:“是我們,還是別人?但總得有人去做?!?/p>

(封面圖來自斯坦福大學(xué)叢樂實(shí)驗(yàn)室,取自NVIDIA XR AI頁面。)

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
一種比性更親密的行為,40歲后還有的夫妻,說明是真愛

一種比性更親密的行為,40歲后還有的夫妻,說明是真愛

十點(diǎn)讀書
2025-12-26 19:27:39
海南封關(guān)成照妖鏡,東南亞國家挨個(gè)現(xiàn)行,新加坡直言不準(zhǔn)自給自足

海南封關(guān)成照妖鏡,東南亞國家挨個(gè)現(xiàn)行,新加坡直言不準(zhǔn)自給自足

離離言幾許
2025-12-26 14:16:02
換帥即封神!28分狂勝同曦終結(jié)5連敗 浙江沒做到的他做到了?

換帥即封神!28分狂勝同曦終結(jié)5連敗 浙江沒做到的他做到了?

你看球呢
2025-12-27 08:40:06
演員保劍鋒回應(yīng)出軌傳聞

演員保劍鋒回應(yīng)出軌傳聞

大風(fēng)新聞
2025-12-27 10:50:06
被罵到關(guān)評!姜昆在美國豪宅唱紅歌過圣誕,17年曾呼吁抵制圣誕節(jié)

被罵到關(guān)評!姜昆在美國豪宅唱紅歌過圣誕,17年曾呼吁抵制圣誕節(jié)

阿纂看事
2025-12-25 17:19:59
新一輪下崗潮殺到?這4個(gè)行業(yè)最先被淘汰,看看你中招沒

新一輪下崗潮殺到?這4個(gè)行業(yè)最先被淘汰,看看你中招沒

老特有話說
2025-12-25 12:15:23
呂良偉70大壽:楊受成彎腰舉杯、章小惠胖出水桶腰、王晶鍋蓋頭

呂良偉70大壽:楊受成彎腰舉杯、章小惠胖出水桶腰、王晶鍋蓋頭

小小李?yuàn)?/span>
2025-12-25 20:50:09
錢小豪“毀滅史”,他的故事比你想得更惡劣

錢小豪“毀滅史”,他的故事比你想得更惡劣

比利
2025-12-21 11:26:52
秦嵐的“蜜桃臀”又上熱搜了!網(wǎng)友:“臀”確實(shí)美

秦嵐的“蜜桃臀”又上熱搜了!網(wǎng)友:“臀”確實(shí)美

馬拉松跑步健身
2025-12-25 06:30:05
李霄鵬無限接近簽約,蒿俊閔或隨之加盟,新賽季劍指中甲冠軍

李霄鵬無限接近簽約,蒿俊閔或隨之加盟,新賽季劍指中甲冠軍

梅亭談
2025-12-27 19:15:40
5艘航母逼近中國近海,特朗普直接打明牌,逼著中國接招!

5艘航母逼近中國近海,特朗普直接打明牌,逼著中國接招!

奉壹數(shù)碼
2025-12-26 22:02:25
據(jù)說全球僅20例!巴西一女子在同一晚與2名男子發(fā)生了關(guān)系

據(jù)說全球僅20例!巴西一女子在同一晚與2名男子發(fā)生了關(guān)系

忠于法紀(jì)
2025-12-04 11:25:07
醫(yī)學(xué)博士:腫瘤越來越高發(fā),我們究竟被隱瞞了什么?

醫(yī)學(xué)博士:腫瘤越來越高發(fā),我們究竟被隱瞞了什么?

深度報(bào)
2025-12-21 23:01:02
一男子每天穿破損羽絨服12小時(shí),確診“羽絨肺” 導(dǎo)致的呼吸衰竭!原因竟是……

一男子每天穿破損羽絨服12小時(shí),確診“羽絨肺” 導(dǎo)致的呼吸衰竭!原因竟是……

杭州之聲
2025-12-27 09:51:19
廣州天河最新提醒:非必要勿駕車前往

廣州天河最新提醒:非必要勿駕車前往

羊城攻略
2025-12-27 23:37:28
不到48小時(shí),高市大反轉(zhuǎn),支持率飆升至92.4%,日本發(fā)生了什么?

不到48小時(shí),高市大反轉(zhuǎn),支持率飆升至92.4%,日本發(fā)生了什么?

鐵錘簡科
2025-12-26 19:23:46
陽氣最弱的時(shí)候要來了,記得給家人喝一碗湯,來年一年陽氣都足

陽氣最弱的時(shí)候要來了,記得給家人喝一碗湯,來年一年陽氣都足

江江食研社
2025-12-26 18:30:02
生猛!PS6新傳聞:可原生運(yùn)行PS1-PS5所有游戲

生猛!PS6新傳聞:可原生運(yùn)行PS1-PS5所有游戲

3DM游戲
2025-12-27 21:50:06
0-4!斯諾克爆出大冷:49歲世界冠軍一輪游!4強(qiáng)全部誕生附賽程

0-4!斯諾克爆出大冷:49歲世界冠軍一輪游!4強(qiáng)全部誕生附賽程

球場沒跑道
2025-12-27 08:46:17
元旦開始咸魚翻身!家有這 3 生肖,財(cái)運(yùn)大開,事業(yè)喜事扎堆來!

元旦開始咸魚翻身!家有這 3 生肖,財(cái)運(yùn)大開,事業(yè)喜事扎堆來!

人閒情事
2025-12-27 16:42:36
2025-12-28 00:15:00
甲子光年
甲子光年
中國科技產(chǎn)業(yè)化前沿智庫
3302文章數(shù) 9254關(guān)注度
往期回顧 全部

科技要聞

小米也漲價(jià)了!業(yè)界稱終端再不漲明年必虧

頭條要聞

美媒:特朗普顯然觸及了中國的紅線 中方怒了

頭條要聞

美媒:特朗普顯然觸及了中國的紅線 中方怒了

體育要聞

83分鐘絕殺!曼城2-1年度收官:英超6連勝狂飆

娛樂要聞

張昊唯逃稅涉黃風(fēng)波落幕:法院認(rèn)定朋友造謠

財(cái)經(jīng)要聞

注意,開始拉物價(jià)了!

汽車要聞

好音響比大屏更重要?車企開始“聽”用戶的

態(tài)度原創(chuàng)

家居
房產(chǎn)
游戲
健康
教育

家居要聞

格調(diào)時(shí)尚 智慧品質(zhì)居所

房產(chǎn)要聞

年銷20億+!中交·藍(lán)色港灣用好房子致敬好生活

我真幸運(yùn):《泰拉瑞亞》1.4.5更新定檔1月份!

這些新療法,讓化療不再那么痛苦

教育要聞

南京市首創(chuàng)杯金屬機(jī)器人系列交流展示活動(dòng)

無障礙瀏覽 進(jìn)入關(guān)懷版