智東西
作者 李水青
編輯 云鵬

智東西4月27日?qǐng)?bào)道，今日，螞蟻靈光App上線“體驗(yàn)世界模型”功能，成為業(yè)界首個(gè)可在移動(dòng)端體驗(yàn)世界模型的智能助手，實(shí)現(xiàn)了分鐘級(jí)一致性和實(shí)時(shí)可交互體驗(yàn)。

▲靈光App界面更新

用戶只需上傳一張圖片，即可在手機(jī)上探索最長(zhǎng)60秒的3D世界，并通過手游搖桿操控視角，像玩游戲一樣在其中走動(dòng)。從觸發(fā)指令到開始探索，整個(gè)過程僅需秒級(jí)。

靈光App“體驗(yàn)世界模型”功能背后，其接入了螞蟻靈波今年1月開源的LingBot-World-Fast世界模型，該模型可提供高保真、可控制且邏輯一致的模擬環(huán)境。

智東西第一時(shí)間體驗(yàn)了該功能，發(fā)現(xiàn)該功能確實(shí)能實(shí)現(xiàn)秒級(jí)生成速度，無需等待，生成的3D畫面較自然合理且連續(xù)性較好；操縱上雖然有秒級(jí)延遲，但可以接受；作為一款端側(cè)功能，清晰度仍有提升空間。

▲輸入給靈光App的圖片

▲靈光App可一秒內(nèi)生成一個(gè)“世界”

具體操作上，用戶在靈光App對(duì)話框上傳一張圖片后，系統(tǒng)會(huì)智能推薦操作指令，用戶選擇“生成圖中世界”；或者直接輸入“幫我用第一人稱視角探索這個(gè)世界”等自然語言，系統(tǒng)將自動(dòng)進(jìn)入世界模型生成流程。

當(dāng)我上傳《黑神話：悟空》中的小雷音寺場(chǎng)景圖片，靈光迅速生成了以下與游戲界面類似的“世界”。畫面中引入了手游搖桿操控，據(jù)稱這是靈光針對(duì)動(dòng)端操作習(xí)慣一個(gè)創(chuàng)新點(diǎn)。如下圖所示，通過遙感操縱，我能以悟空的第一視角向前。

▲輸入給靈光App的圖片

▲靈光App生成的“世界”部分體驗(yàn)截圖

可以看到，復(fù)雜建筑結(jié)構(gòu)被保留還原，門洞內(nèi)部的景深感明顯，不存在“穿?！鼻闆r；右側(cè)視角環(huán)顧四周時(shí)，場(chǎng)景過渡平滑，延遲在1秒鐘左右；不過從清晰度上來說，該功能還有提升空間。

緊接著，我上傳了一張《塞爾達(dá)傳說：曠野之息》海拉魯平原的截圖，只見生成的開闊大場(chǎng)景的地面連續(xù)性較好，向山下望去可見陡峭的巖石群，無接縫、無孔洞；陽光之下，高飽和綠色與藍(lán)天之間的顏色過渡自然，地面上的陰影方向也與圖片中的光源方向保持一致。

▲輸入給靈光App的圖片

▲靈光App生成的“世界”部分體驗(yàn)截圖

再看看《超級(jí)馬里奧：奧德賽》都市國(guó)街道場(chǎng)景生成情況，路側(cè)的近景路燈、中景行人行道、遠(yuǎn)景高樓顯得比較有層次，沒有明顯的粘連；角色沿街道直線行走時(shí)，兩側(cè)建筑保持平行，透視正確；但地上的斑馬線出現(xiàn)了一些扭曲，小摩托“自動(dòng)駕駛”后消失，略顯不足；隨著游覽速度加快，圖像的清晰度有些打折扣，馬里奧的身形已不太清楚。

▲輸入給靈光App的圖片

▲靈光App生成的“世界”部分體驗(yàn)截圖

最后我又拿一張恐龍滅絕主題的CG藝術(shù)圖來嘗試，只見隕石墜落、火山遠(yuǎn)景都刻畫得富有動(dòng)態(tài)，但隕石懸浮時(shí)間有些久；遠(yuǎn)處隕石、濃煙邊界清晰，沒有被簡(jiǎn)化為單一色塊；恐龍?jiān)谧邉?dòng)中及重疊時(shí)形態(tài)沒有嚴(yán)重畸變，整體表現(xiàn)沒有大的視覺Bug。

▲輸入給靈光App的圖片

▲靈光App生成的“世界”部分體驗(yàn)截圖

世界模型的移動(dòng)端部署面臨算力需求大、延遲控制難、終端性能參差不齊等業(yè)界公認(rèn)難題。實(shí)測(cè)看到，靈光“體驗(yàn)世界模型”功能在響應(yīng)速度上表現(xiàn)突出。靈光官方報(bào)道提到，團(tuán)隊(duì)采用了高效、低延遲的流式傳輸技術(shù)，實(shí)現(xiàn)了百毫秒級(jí)響應(yīng)延遲，從觸發(fā)指令到開始探索僅需秒級(jí)。

靈光App負(fù)責(zé)人蔡偉談道：“體驗(yàn)世界模型功能是靈光在探索智能邊界的又一實(shí)踐。此前靈光推出的‘閃應(yīng)用’功能可實(shí)現(xiàn)自然語言30秒生應(yīng)用，也是把原本專業(yè)開發(fā)者的Coding能力給到普通用戶。”

結(jié)語：世界模型升溫，端側(cè)場(chǎng)景是下一關(guān)

從阿里、騰訊、李飛飛團(tuán)隊(duì)等密集發(fā)布世界模型新作，到靈光App率先將世界模型搬上手機(jī)，世界模型賽道正快速升溫。

端側(cè)響應(yīng)速度與生成效果已有明顯進(jìn)步，正如蔡偉所言，靈光希望不斷探索智能邊界，把好的AI體驗(yàn)給到所有人。接下來，比拼的不僅是技術(shù)，落地后的應(yīng)用場(chǎng)景挖掘也至關(guān)重要。