就在前段時間 分享了一個針對元宇宙Meta更新的新算法，其叫做3DSAM，支持人像以及現(xiàn)實(shí)中任意物體的分割，這項(xiàng)算法可以成為元宇宙與真實(shí)世界的底座。

對于做機(jī)器人的產(chǎn)品經(jīng)理，任何機(jī)械臂、肢體等，這些要想和真實(shí)物理世界能夠聯(lián)動，首先就要把數(shù)字世界與真實(shí)世界的物品與人物、甚至是物理都一一搬運(yùn)到數(shù)字世界里去。

而現(xiàn)在物品與人物動作等，這些都可以在虛擬世界，通過游戲或者AI合成視頻。

合成視頻是利用所謂的世界模型來完成視頻生成技術(shù)，所以現(xiàn)在還在依賴傳統(tǒng)機(jī)器人訓(xùn)練數(shù)據(jù)的公司可能會倒閉了

因?yàn)閷τ谡鎸?shí)場景產(chǎn)生數(shù)據(jù)，從而將其數(shù)據(jù)來分析作為機(jī)器人的訓(xùn)練這個方式幾乎就是代表著高成本、低效率、并且準(zhǔn)確率極高。

如下是現(xiàn)在在大廠樓下，經(jīng)常有機(jī)器人團(tuán)隊(duì)與產(chǎn)品經(jīng)理在樓下 做機(jī)器人的各類姿勢訓(xùn)練，甚至是還有動作捕捉等，這些就可以完成機(jī)器人動作訓(xùn)練所需要的數(shù)據(jù)采集與測試。

而其實(shí)數(shù)據(jù)采集的本質(zhì)數(shù)據(jù)就是video視頻類數(shù)據(jù)，有空間維度的3D視頻，這些視頻現(xiàn)在全部都可以通過高斯濺射這類相關(guān)技術(shù)完成生成。

如下是李飛飛的marble，可以生成世界模型

如下是字節(jié)跳動更新的depth anything3，將其視頻可以生成3D

如下是EMU3.5 ，可以生成任何步驟

以上這類技術(shù)，讓現(xiàn)在還在做機(jī)器人數(shù)據(jù)采集不需要再花時間拍攝就可完成機(jī)器人動作訓(xùn)練了，因此機(jī)器人產(chǎn)品經(jīng)理的數(shù)據(jù)訓(xùn)練將會有巨大的變化。

也就是用生成數(shù)據(jù)完成機(jī)器人動作模型需要的訓(xùn)練，從而不需要再去錄制任何視頻。

在游戲世界里，利用Yolo這類視覺完成人體動作捕捉方案

如下是利用高斯濺射與unity合成的游戲畫面，除了合成數(shù)據(jù)可以用于機(jī)器人訓(xùn)練，利用游戲的人物動作來完成機(jī)器人的動作訓(xùn)練也是一樣的。

Yolo這類視覺方案就是將其人類的特有的點(diǎn)位進(jìn)行特征化，從而得到機(jī)器人動作所需要的數(shù)據(jù)集

所有物理世界所需要的數(shù)據(jù)最終都會用“數(shù)字孿生”的概念來解決， 現(xiàn)在特斯拉已經(jīng)利用生成真實(shí)世界畫面完成了各類場景的自動化模型訓(xùn)練，其模型不僅是適用于車本身，還有機(jī)器人都可以適用。

特斯拉的自動駕駛還是人形機(jī)器人，這些數(shù)據(jù)都可以通過生成來完成，只要數(shù)據(jù)符合物理學(xué)定律，就可完成。

自己訓(xùn)練自己，人類的自身數(shù)據(jù)還不能

而現(xiàn)在唯一還不能生成訓(xùn)練的就是人體的數(shù)據(jù)了，這些具有生理反應(yīng)與生理化指標(biāo)的數(shù)據(jù)，需要采集數(shù)據(jù)的同時，還需要了解人當(dāng)時的各類反應(yīng)，比如我們做腦機(jī)接口數(shù)據(jù)采集，生成的都是腦電數(shù)據(jù)，而僅僅有腦電數(shù)據(jù)是無法訓(xùn)練模型的，需要知道這個時候用戶在想什么、甚至是在做什么動作，才能得到想要的波形，進(jìn)行降噪干預(yù)。

不過有一些醫(yī)學(xué)數(shù)據(jù)已經(jīng)可以達(dá)到自己訓(xùn)練了，比如患者的影像數(shù)據(jù)與診斷報告，兩者可以合并就可用讓模型自己訓(xùn)練自己，通過將圖像數(shù)據(jù)給模型進(jìn)行訓(xùn)練 ，模 型通過診斷報告來做數(shù)據(jù)模型的結(jié)果驗(yàn)證，從而完成自己監(jiān)督學(xué)習(xí)。

這也是現(xiàn)在在醫(yī)學(xué)領(lǐng)域使用無監(jiān)督學(xué)習(xí)方式

如下是現(xiàn)在無監(jiān)督學(xué)習(xí)訓(xùn)練醫(yī)學(xué)模型的常見方式，也就是針對人類數(shù)據(jù)的訓(xùn)練就既需要采集的數(shù)據(jù)，還需要當(dāng)時數(shù)據(jù)的診斷（標(biāo)注），同時還需要有標(biāo)準(zhǔn)的診斷報告，報告不能是隨意或四分五裂的。

左邊是病歷數(shù)據(jù)，獲取了之后拿到對應(yīng)的醫(yī)學(xué)影像以及電子病歷，通過模型來識別影像比對電子病歷診斷結(jié)果完成訓(xùn)練。

在做腦電數(shù)據(jù)上，就可以采用這種方式來，比如BIDS-EEG，用于診斷癲癇、P300、ERP，他們有標(biāo)準(zhǔn)的數(shù)據(jù)采集格式與報告。

利用這些數(shù)據(jù)才能夠完成所謂“無監(jiān)督學(xué)習(xí)”，讓機(jī)器自己學(xué)習(xí)數(shù)據(jù)，自己訓(xùn)練自己。

以上就是未來的數(shù)據(jù)訓(xùn)練方式，從需要人參與、錄制視頻完成的

今天的分享就在這里。

“關(guān)注我，一個產(chǎn)品經(jīng)理的創(chuàng)業(yè)故事”

我最近的精選原創(chuàng)

和我一起每日拆解AI產(chǎn)品APP

我創(chuàng)建的產(chǎn)品設(shè)計(jì)打卡社群，加入后365天，每天體驗(yàn)一款A(yù)PP。提升產(chǎn)品設(shè)計(jì)能力，同時有1300份體驗(yàn)報告幫助你找到競品。

在這里你可以隨時查詢到你想找的各類競品行業(yè)APP，無須自己親自下載就可以馬上得到APP的一手產(chǎn)品優(yōu)化、交互設(shè)計(jì)、功能描述信息。

從優(yōu)化&建議、商業(yè)模式、運(yùn)營、功能描述、交互設(shè)計(jì)、產(chǎn)品定位至少6個維度，體驗(yàn)一款應(yīng)用。平均1天1塊錢，掃碼購買即可加入，連續(xù)體驗(yàn)48款應(yīng)用，通過后原路退回。

報名后添加星球助理

PMTalk123