（點擊收聽本期音頻）

采訪｜泓君

圖文｜朱婕

在人工智能的浪潮里，3D數(shù)字人正在悄然改變著我們內(nèi)容創(chuàng)作和互動的方式。你或許已經(jīng)發(fā)現(xiàn)，數(shù)字人主播和虛擬偶像們，看起來越來越流暢自然了。這背后是一場數(shù)字人的技術(shù)革命：如今的3D數(shù)字人不再是那個表情略顯僵硬、只能按預設腳本運行的“木偶”；它們能夠根據(jù)指令，實時地生成豐富的語音、精準的表情，協(xié)調(diào)的肢體動作，并且成本變得可被接受。

進化的數(shù)字人，不僅活躍在當下的直播間和客服中心，未來更將在3A級游戲和影視工業(yè)領(lǐng)域大展拳腳。然而你可能不知道的是，3D數(shù)字人濫觴于機器人領(lǐng)域。在計算機圖形學與機器人學之間，存在著一道打通虛擬與現(xiàn)實的“旋轉(zhuǎn)門”，幾十年來不斷有學者穿越這道門走向另一端去尋求突破之道。

過去，研究者們用驅(qū)動機器人的方式，驅(qū)動虛擬世界中的數(shù)字人；如今，數(shù)字人所積累的經(jīng)驗，又反過來幫助機器人去理解物理世界的錯綜復雜。

本期《硅谷101》，主播泓君邀請了魔琺科技創(chuàng)始人兼CEO 柴金祥教授 。柴教授從2000年左右便在卡內(nèi)基梅隆大學機器人研究所投身3D數(shù)字人研究，已經(jīng)從事該領(lǐng)域二十余年。泓君與柴教授深入聊了3D數(shù)字人的前世今生，它取得了哪些突破性的進展，又面臨著哪些挑戰(zhàn)，以及數(shù)字人的數(shù)據(jù)和模型是如何加速具身智能進化的。

歡迎關(guān)注《硅谷101視頻號》的音頻欄目直接收聽本期播客。如 果 你喜歡我們的 節(jié)目，更推 薦大家使用 音頻客戶端來收聽，《硅谷101 》已覆蓋各大 主流音頻 平臺（渠道見文末），歡迎訂閱！

以下是這次對話內(nèi)容的精選：

01

數(shù)字人：下一代內(nèi)容生產(chǎn)者

泓君：前幾天，硅谷大家都在關(guān)注Sora2，好像每個人都會拿它去做一段Demo，包括我們前幾天剛剛開了《硅谷101》的科技大會，我們就生成了一段讓Sam Altman幫我們?nèi)バ麄魑覀兇髸腟ora2的視頻?？雌饋硭谄聊焕锩娴男蜗缶褪且粋€比較數(shù)字人的形象，這個對你們的業(yè)務會有影響嗎？

柴金祥：我覺得Sora2相比Sora1，進步是蠻大的，Sora1還是以風景為主，Sora2主要的形態(tài)是以人為中心的，可以讓視頻里的人做各種各樣的事情。我也大概用了一下，第一個感覺，視頻生成現(xiàn)在還是10秒鐘的時間，還是沒有跳出被時間的限制文生視頻。第二個點其實也特別重要，就是物理上的一致性，基本上大家看刷屏的時候很多效果其實還是蠻好的，但你真正自己做的時候還是有很多瑕疵。

泓君：問題太多了。它那個視頻里面有皮卡丘跟一個唐老鴨在總統(tǒng)競選的一段辯論，可以在原視頻上改，我就說把這個辯論變成一個在《硅谷101》上關(guān)于AGI的辯論，我們活動的主題是“Alignment2025”，但你仔細去看的話，它后面的Alignment那個字就是錯的，就開始亂碼了。

柴金祥：對。創(chuàng)作者除了生成視頻，還需要能修正錯誤、調(diào)整細節(jié)，這能力它還沒有。更重要的是，它無法精細控制人的動作和表情。不過，Sora2第一次讓人看到了用大模型驅(qū)動人物多樣動作的可能性。

我們做的是3D數(shù)字人，如果最終目標是讓人能交流、跳舞、娛樂，那大模型會是什么形態(tài)？訓練數(shù)據(jù)又是什么？Sora2說它用所有視頻作為訓練數(shù)據(jù)。最近Genie3出來，是3D的生成，給你一種交互型的感覺是吧？但它不是人，它是關(guān)于場景相關(guān)的。

我們覺得，最終可能需要2D+3D的訓練技術(shù)結(jié)合，我們希望生成的人沒有10秒限制、沒有瑕疵、物理準確、可控制、實時且成本低。所以我們除了3D訓練數(shù)據(jù)，也開始結(jié)合大量視頻數(shù)據(jù)來訓練大模型，提升數(shù)字人的表達力。視頻數(shù)據(jù)如果模型做得好，是有生成能力的。

圖片來源：Sora2

泓君：我簡單總結(jié)一下：Sora2是文生視頻，你們是文生3D。這個3D它可以是在VR領(lǐng)域里面進行展示的，比如說我戴著一個VR頭盔，我可以360度地去看到這個人。

柴金祥：是，就是2D和3D的區(qū)別。Sora2是文生2D視頻。3D放在VR/AR里，就跟現(xiàn)實一樣。3D還有一個好處，它能控制，就像人一樣，你讓它怎么動就怎么動。但2D在像素層面，要對它進行動作、表情的精準控制，會比較難。

泓君：我看到很多公司展廳屏幕上的數(shù)字人是你們做的，有一點我可能很難區(qū)分，假設我進到一個展廳，看到一個屏幕上的非常立體的數(shù)字人，它有動作、聲音、表情，跟我看到Sam Altman在一個視頻里的數(shù)字人，除了時長的區(qū)別，它在核心的技術(shù)上它的區(qū)別是什么呢？

柴金祥：第一個區(qū)別是，屏幕上這個數(shù)字人是人機交流的載體，人跟機器交流的時候，其實你是實時互動的，我們希望端對端延時一般要小于2秒或1.5秒，不能像生成視頻等10分鐘、5分鐘。

第二個區(qū)別是，當你用文生視頻去做的時候，手指是個特別難的事情，經(jīng)常多一根或少一截，但如果是展廳里，數(shù)字人為你講解產(chǎn)品，你肯定是不希望這個體驗很差的，它的動作不能有瑕疵，物理上要準確，表情、動作要一致。

最后一個區(qū)別，把3D數(shù)字人部署在終端上，成本不能高。終端屏幕可能就一萬人民幣，如果生成視頻交互了20分鐘，即使它能實時做，一年放在那也得花很多錢，長期也負擔不起。但從Sora2文生視頻的角度來說，這個成本它是不能scale up的。

泓君：它的成本是多高？用你們的這個成本是多高？為什么成本之間會有這樣的一個差距？

柴金祥：我不一定能給具體數(shù)字，但可以告訴你一個量級：與大模型做的語音合成相比，我們的成本可能是幾十分之一。這里核心是2D和3D的區(qū)別。3D描述人的動作表情，只需要幾百個參數(shù)，人的肌肉可能就是大幾百塊，你只要去控制一些肌肉就可以了。下一步是用3D渲染把3D內(nèi)容變成視頻，還有3D解算，包括頭發(fā)、衣服的物理解算。如果用AI做渲染和解算，成本就主要是生成這幾百個參數(shù)的成本，和大模型生成Token一樣，所以它的成本就非常非常低。文生視頻沒有結(jié)構(gòu)化信息，全是像素，推理和生產(chǎn)成本就會非常非常高。

泓君：所以你們能把成本降下來，是因為有一個自己的端模型，可以這樣理解嗎？

柴金祥：是的，我們有一個把文本變成3D多模態(tài)表達能力的模型。從文本生成語音、表情、動作、手勢的參數(shù)，傳到終端屏幕上，我們用AI渲染和解算，把它變成視頻。AI渲染對終端算力要求極低，現(xiàn)在用國內(nèi)幾百塊錢的芯片，比如瑞芯微的RK3566，我們在端上就可以跑了。

泓君：比如說它要跟人做實時互動跟問答，這種還是在端模型上，還是說你后面除了你自己的這個端模型，在表達的內(nèi)容上你會去接大模型？

柴金祥：好問題。人和數(shù)字人交流需要兩個模型：一個像ChatGPT的多模態(tài)到文本模型，現(xiàn)在你ChatGPT的話，你可以輸入聲音、圖片，它最后輸出文字。

另一個是從文本到3D多模態(tài)的模型，我們做的是文字到3D多模態(tài)輸出，輸出語音、姿態(tài)、動作、表情、手勢，讓生成的數(shù)字人更像真人交互，

我們有自己垂域的大模型，也可以接國內(nèi)千問、DeepSeek、豆包等模型，形成端對端的人與數(shù)字人像真人一樣的交流體驗。

泓君：所以你們從多模態(tài)到文本可以利用大模型，從文本到多模態(tài)是自己的端模型。

圖片來源：魔琺星云-具身智能數(shù)字人開放平臺

柴金祥：我們叫它“文生3D多模態(tài)大模型”。

泓君：這已經(jīng)是一個產(chǎn)品“星云平臺”，可以發(fā)布了嗎？

柴金祥：是的，我們10月發(fā)布，現(xiàn)在在測試。有幾百個B端企業(yè)客戶在測試，有的已付費。我們預計兩周后發(fā)布我們這個文生3D多模態(tài)模型。因為我們自己在做的過程做了很長很長時間，從我20多年前讀研開始做，花了很多精力。我們希望大家不要重復造輪子，能夠把能力提供給所有開發(fā)者，集成到他們的應用中去。

泓君：了解。我覺得很有意思的一點就是，隨著星云平臺發(fā)布，你們從3D數(shù)字人公司變成了3D數(shù)字人平臺公司，我這樣理解是對的嗎？

柴金祥：差不多，對，是的。

泓君：之前在NVIDIA發(fā)布會上，黃仁勛很自豪地說“你看到的我不是真的我”，他坐在一個壁爐前，是一個虛擬3D數(shù)字人在跟大家介紹，渲染得非常非常真實。他經(jīng)常用他自己的虛擬人去講他們的顯卡性能有多強大，他那個成本大概有多少？

柴金祥：這個成本蠻高的。他做的其實還是視頻輸出，如果造一個老黃這樣的虛擬人，需要研發(fā)團隊配合美術(shù)團隊，在美國找頂尖的美術(shù)團隊做，成本大概10萬美金左右，做到發(fā)布會那種逼真效果。

這還只是造出這個人，做視頻可能要按秒算成本。這屬于專業(yè)級內(nèi)容生產(chǎn)，還沒到人人可用的階段。

圖片來源：NVIDIA Blog

泓君：對，每次去游戲展會感受明顯，大家怎么去造那個3D數(shù)字人。以前造3D數(shù)字人，是讓演員穿動作捕捉服，用環(huán)形攝像機拍每個部位，再建模，一步一步地把它還原出來。這是好萊塢或游戲公司常用的方式吧？

柴金祥：對，專業(yè)級造人包括3A游戲公司和好萊塢，比如Avatar，或老黃的數(shù)字人。整體來說它是兩部分的東西。

第一部分是造人，一般叫掃描，用很多相機，你坐在那，做各種表情，把人的幾何形狀和表面紋理重建出來，包括肌肉，學術(shù)上叫建模和綁定。

第二是讓它動起來，穿動捕服，用相機捕捉動作，驅(qū)動剛才造的那個人，用渲染引擎輸出視頻。

整個過程從建模綁定到動畫再到輸出視頻，都非常昂貴。

泓君：這是大模型之前，好萊塢和游戲公司常用的方式?，F(xiàn)在有了模型，這套方式還是主流嗎？還是說他們其實也在探索能不能用3D直接去生成人？

柴金祥：這問題特別好。3D內(nèi)容的AI化取決于兩件事：高質(zhì)量數(shù)據(jù)，和AI算法能否對3D內(nèi)容做大模型。

咱們今天看到了，所有的影視動畫和游戲公司，擅長做內(nèi)容，把美術(shù)和3D模型做得很逼真，但絕大部分AI能力缺乏，因為他們和互聯(lián)網(wǎng)、科技公司是兩條線，交叉很少。他們當然想擁抱AI，但能力欠缺。

AI公司算法強，但其實是沒有數(shù)據(jù)的。3D內(nèi)容必須先有大量高質(zhì)量3D數(shù)據(jù)才能做大模型，這是他們的目標，但現(xiàn)在兩個行業(yè)沒有交叉。

泓君：大模型公司缺好萊塢的數(shù)據(jù)，好萊塢制作公司缺AI算法，可以這樣理解嗎？

柴金祥：是，基本是這樣。

泓君：但我看也有公司開始嘗試。你們在AI浪潮之前，做數(shù)字人和積累數(shù)據(jù)也很久了吧？

柴金祥：是的，我們2018年成立，最初為B端公司，如游戲、影視、動畫、或做3D虛擬偶像的公司，提供3D內(nèi)容制作，用AI+美術(shù)一起來提升效率和質(zhì)量。在這個過程中當然AI的能力也在提升，但大家都要突破的點是3D內(nèi)容的高質(zhì)量數(shù)據(jù)。沒有數(shù)據(jù)，AI算法再厲害也沒法干。

泓君：從2018年到2025年，你們大概積累了多少數(shù)據(jù)？可以透露嗎？

柴金祥：拿動畫數(shù)據(jù)來說，前面我們?yōu)槠髽I(yè)服務，后來我們自己來做了些動畫數(shù)據(jù)?，F(xiàn)在3D高質(zhì)量動畫數(shù)據(jù)，我們有1000多個小時。這個數(shù)據(jù)可能跟視頻的數(shù)據(jù)或者文本的數(shù)據(jù)來講是小的，但如果考慮到成本，高質(zhì)量的人臉動畫、手勢、表情等動畫數(shù)據(jù)，一秒鐘成本至少1000人民幣左右。在國內(nèi)成本高是一方面，另外你還得找到團隊有非常強的能力把質(zhì)量做得這么高，所以這個數(shù)據(jù)量是很難在短時間內(nèi)積累起來的。

泓君：很有意思，所以數(shù)據(jù)是你能訓練成這樣的一個模型的一個核心要素。

柴金祥：我覺得數(shù)據(jù)是最核心的。如果沒有數(shù)據(jù)，其他任何研發(fā)都沒法做。除了剛才講到的3D數(shù)據(jù)，我們也有其他的視頻數(shù)據(jù)。這些是純粹的視頻數(shù)據(jù)，比如有人在走路也好，有人在跟人交流也好，它沒有3D信息，但我們開始把這兩者融合起來去做模型的訓練。

02

虛實之間誕生的“雙生學科”

泓君：你當初為什么會選擇進入3D數(shù)字人這個領(lǐng)域？

柴金祥：我2000年去卡內(nèi)基梅隆大學（CMU）讀博士，在機器人研究所做的就是這個方向。我的博士論文就是關(guān)于如何創(chuàng)建一個可交互的3D數(shù)字人，以及如何用AI去做動畫。我們團隊應該是世界上最早用AI做動畫的，因為也剛湊巧，2000年左右運動捕捉技術(shù)出現(xiàn)了，有了動畫數(shù)據(jù)就可以做AI了。從那時起，我就專注于3D動畫和數(shù)字人。2006年畢業(yè)去德州農(nóng)工大學（Texas A&M）當教授，也一直做這個方向。那時動畫研究屬于圖形學領(lǐng)域，是專門為影視動畫公司游戲公司這個行業(yè)服務的。那時候我們發(fā)表了很多論文，全是關(guān)于3D數(shù)字人跟3D動畫相關(guān)的。到2018年創(chuàng)業(yè)，我也繼續(xù)做這件事，所以我在這個領(lǐng)域堅持了二十多年了。

泓君：我知道您的博士導師是杰西卡·霍奇斯（Jessica Hodgins），她主要研究人形機器人和3D數(shù)字動畫。而且她的博士生導師是馬克·雷伯特（Marc Raibert），是波士頓動力（Boston Dynamic）的創(chuàng)始人，現(xiàn)在最有名的機器人公司，也是特別早的一家機器人公司。所以看起來整個的3D生成它最開始的應用就是在好萊塢領(lǐng)域的。

柴金祥：我導師杰西卡·霍奇斯，她也是卡內(nèi)基梅隆大學1989年博士畢業(yè)，她在讀博時是做機器人的。當時的人形機器人只有“單腳”，因為雙足平衡太難了。她那時候是用物理運動控制動力學的方式，控制機器人走跑跳。

她畢業(yè)后，很奇怪地，進到的方向是圖形學和動畫領(lǐng)域，她的想法是：既然能在現(xiàn)實世界控制機器人運動，是否能用同樣方法驅(qū)動虛擬世界的3D數(shù)字人？

她是全世界第一個用物理運動控制方法做數(shù)字人動畫的學者。她在佐治亞理工學院（Georgia Tech）做教授，基于物理的仿真跟控制做動畫，然后2000年她回到CMU任教，2000年動畫數(shù)據(jù)慢慢有了剛才講的運動捕捉的出現(xiàn)。我就是她在卡梅帶的最早的博士。我們是那時候是最早用AI做動畫的。后來大家發(fā)覺得，這個動畫用AI做挺好的，反過來是不是還能去做Robotics這個行業(yè)？

現(xiàn)在大家可能知道的很多做Robotics做很厲害的人，其實以前都是做動畫的。比如PI（Physical Intelligence）聯(lián)合創(chuàng)始人、伯克利教授Sergey Levine，但你肯定都不知道，他是在斯坦福拿的博士學位，并且他是用物理的方式，用運動控制動力學的方式來做動畫的。他畢業(yè)了以后說，我這個能做動畫，我也能做機器人，他后來當教授的時候就是開始做機器人。

泓君：難怪PI他們的核心思路是解決機器人的“大腦”問題，就是軟件層的問題，他就是希望通過模型層來指揮機器人，我覺得這個跟他最開始不是從硬件研究開始的，而是用機器人去做動畫，聽起來是一脈相承的。

圖片來源：PI

柴金祥：的確是的。再舉一個例子，我還有一個好朋友Karen Liu，她現(xiàn)在在斯坦福當教授，以前是在佐治亞理工學院（Georgia Tech）當教授，她同時做Animation和Robotics。

我們那批做動畫的人，后來很多都轉(zhuǎn)向機器人領(lǐng)域，因為這兩個領(lǐng)域高度相通——都是驅(qū)動“人”，一個在虛擬世界，一個在物理世界。動畫相對更容易入手，因為機器人是有本體的，你搭個硬件就老半天。另外現(xiàn)實世界受很多限制，比如重力、房間限制、機器人硬件限制。動畫實際上沒有這些限制。所以那時候很多做物理的人開始做動畫。

動畫這方面也分成幾派，一派用物理方法做，Jessica肯定是其中之一。還有CMU的Michiel van de Panne，他是我博士委員會成員，一直做Controller、運動控制。那時候做動畫的中心也在卡內(nèi)基梅隆大學。Karen Liu的導師Zoran Popovi?也是卡梅畢業(yè)的。當時做動畫的學者很少，國內(nèi)基本沒人做，歐洲也沒人，主要集中在美國兩三個研究組。

后來動畫有個大飛躍是從2000年，運動捕捉有了數(shù)據(jù)后，大家慢慢開始用AI做。那時比較早的，現(xiàn)在叫強化學習，我記得最早的動畫論文是2004年還是2005年就用強化學習做動畫。虛擬世界與實際世界的底層運動控制邏輯非常相似，都屬于“小腦”范疇的動作規(guī)劃與運動控制。如今新興的VLA模型則更偏向“大腦”層面。

泓君：很有意思。我們討論好萊塢技術(shù)時，常有聽眾問為什么科技節(jié)目關(guān)注電影工業(yè)。其實好萊塢一直是推動技術(shù)發(fā)展的重要力量，許多AI技術(shù)最早都應用于電影制作。你們有沒有想過，把你們的3D數(shù)字人產(chǎn)品用于好萊塢造人？比如用生成式技術(shù)讓靜態(tài)演員動起來，這可能對傳統(tǒng)制作方式形成“降維打擊”。

柴金祥：這里面涉及幾個關(guān)鍵點：質(zhì)量、成本和應用場景。好萊塢質(zhì)量可能最高的，再往下是3A級游戲，再往下是生活中一些交互比較簡單的場景。如果你要做好萊塢方向，它的高保真、質(zhì)量可能特別重要，他們可以等100個小時、200個小時，花更多錢等你的高質(zhì)量。但在實時交互里，可能等不了那么多時間，要馬上看到結(jié)果能夠交互，質(zhì)量上不一定要像好萊塢那么高。

泓君：但是可以做好萊塢IP的衍生。

柴金祥：對，衍生品肯定可以，但需要更高質(zhì)量的3D數(shù)據(jù)來做AI大模型。這塊在我們自己的行進路徑上，有先后順序，對我們自己來說，可能先運用到日常生活中，比如交互、服務、陪伴，再到游戲，再到好萊塢。因為難度來說，好萊塢如果要做到那個水平，難度很高很高，質(zhì)量要很高，能生產(chǎn)這種高質(zhì)量數(shù)據(jù)的人，全世界可能就沒幾個。

03

AI渲染結(jié)算帶來的成本革命

泓君：問一個稍稍敏感的問題，你可以選擇不答。你們現(xiàn)在把API接口開放出去，肯定有基礎(chǔ)接入成本。你覺得這個模式能賺錢嗎？

柴金祥：這肯定能。因為在正式發(fā)布平臺之前，我們已經(jīng)有了B端客戶。在國內(nèi)做AI公司，商業(yè)上的賬必須算得過來，除非你是字節(jié)、阿里、騰訊那樣的大廠。所以這里面有一個核心點，也是我們過去半年最大的突破。半年前我們的交互能力和API就做好了，但那時成本非常高。當時服務一個數(shù)字人需要一張顯卡，成本差不多兩三萬。很多B端客戶來問，一聽到這個價格就不用了。

圖片來源：魔琺科技

泓君：這個成本是怎么降下來的？

柴金祥：因為我們是3D內(nèi)容，所有影視動畫公司、游戲公司都逃不開一點——必須要有渲染引擎和解算引擎。

泓君：這個我太懂了，我們做視頻，渲染真的太耗時間了。

柴金祥：對。如果要支持3D內(nèi)容實時交互，每一路都需要一張顯卡負責渲染和解算。我們當時用了可能最好的Unreal引擎，但成本就擺在那里。我們一直在想，如果不解決這張顯卡的成本問題，談應用落地根本不可能，無論是展廳大屏、手機還是平板上都用不起。

我原本覺得這個問題很難解決，但技術(shù)有時很奇妙，我們突然想到了一個方法。很幸運地，我們用AI技術(shù)完成了渲染和解算，不再需要傳統(tǒng)的渲染引擎和昂貴的顯卡。現(xiàn)在在非常便宜的終端芯片上，一兩百、兩三百塊錢的，就能跑起來。

泓君：所以你們用端到端的AI模型，解決了渲染問題。

柴金祥：渲染只是其中一部分。完整流程分兩步：第一步是用模型從文本生成語音和3D表情、動作的參數(shù)；第二步是把這些參數(shù)通過AI渲染和解算轉(zhuǎn)換成實時視頻。這樣整體成本比語音生成還要低。

泓君：如果你們真能做到大幅降低渲染成本，這次的生成式AI技術(shù)會對Unreal這樣的游戲引擎公司造成沖擊嗎？對NVIDIA可能就是一個左手跟右手的關(guān)系。

柴金祥：對Unreal不一定是好事，我認為對游戲公司來說更多是機會?，F(xiàn)在3A級游戲都需要云端有顯卡，或者手機上得有比較強的算力，不然玩起來會發(fā)燙。如果將來能用AI方式解決渲染和解算，不需要引擎和顯卡就能玩游戲，那游戲就能無處不在?；蛘邔碚嬲龑崿F(xiàn)元宇宙時，虛擬世界的參與成本也許會變得很低很低。

泓君：現(xiàn)在用AI方式解決渲染問題，質(zhì)量能達到傳統(tǒng)游戲引擎的水平嗎？大概到了一個什么樣的進度位？

柴金祥：在我們這個特定應用場景下，質(zhì)量基本一樣。因為我們的訓練數(shù)據(jù)就是用最高質(zhì)量的游戲引擎渲染的，AI模型是在大量數(shù)據(jù)基礎(chǔ)上逼近原來的效果。我們做過并列對比（Side-by-Side Comparison），左邊是游戲引擎渲染，右邊是AI渲染，沒有一個人能看出左右之間的區(qū)別。

圖片來源：Unreal

泓君：這非常顛覆。如果我們綜合評估你們模型的能力，你覺得最強的一點是什么？比如現(xiàn)在看2D視頻渲染，最大的痛點可能是口型對不上、眼神空洞，這種虛假感。你們在將3D數(shù)字人應用到不同行業(yè)時，遇到的最大痛點是什么？怎么解決的？

柴金祥：這個問題很好。我們收到的客戶反饋主要集中在三個方面。第一是質(zhì)量，包括語音、動作、表情、唇形是否自然逼真？是不是像真人一樣？第二是延時，我跟它交互聊天時，不能一句話等5秒鐘才回應，那我肯定沒有這個耐心了；第三是客戶非常關(guān)心的成本，如果太貴，即使體驗好客戶也不愿意投入。

質(zhì)量、延遲、成本——這是我們規(guī)?；涞匾降摹叭笊健薄?/strong>還有個關(guān)鍵點是讓數(shù)字人支持多終端——大屏、小屏、手機APP，支持并發(fā)，這涉及不同操作系統(tǒng)、不同芯片算力。

我們解決質(zhì)量和延時問題，主要靠大模型提升能力。質(zhì)量方面當然訓練數(shù)據(jù)最重要——如果3D人的質(zhì)量很差，根本做不好。另外就是大模型本身的能力：能否通過文本生成語音、表情動作和匹配的唇形？能否從文本中提取情緒（比如笑或打招呼）自動生成關(guān)鍵意圖？TTS語音生成是否也有情緒的？這些都關(guān)系到如何讓大模型產(chǎn)生高質(zhì)量輸出。

04

加速具身智能突破泛化

泓君：我們剛剛聊了很多AI技術(shù)如何應用于虛擬世界。那反過來，你們現(xiàn)在訓練的模型能操控機器人嗎？你們試過嗎？

柴金祥：我們試過。3D數(shù)字人和3D動畫的一個優(yōu)勢就是能夠驅(qū)動機器人。比如一個3D數(shù)字人能跟你交流，聽懂你的問題，生成相應的語音、動作、表情和姿態(tài)。對機器人來說，我們可以用同樣的技術(shù)驅(qū)動它，讓機器人實現(xiàn)實時語音、動作和手勢。只是現(xiàn)在的機器人沒有臉部肌肉，所以表現(xiàn)不出表情。

現(xiàn)在的機器人更像是藍領(lǐng)工人。如果將來要做陪伴型機器人，或者做白領(lǐng)工作，比如銷售、老師，可能就需要表情了。首先我們要知道機器人在交流時，手勢該怎么動？表情該怎么變化？姿態(tài)該如何調(diào)整？下一步就是通過模仿學習，像NVIDIA的方法那樣，通過仿真實現(xiàn)直接驅(qū)動和交流。

3D數(shù)字人驅(qū)動機器人 圖片來源：魔琺科技

泓君：太有意思了。在實際應用中，你們將模型數(shù)據(jù)接到機器人上，覺得對哪部分提升最大？機器人沒有表情，但手勢可以動，你們能同時驅(qū)動手和腳嗎？還是只能驅(qū)動上半身？

柴金祥：我們可以同時驅(qū)動手和腳。告訴你個有意思的事，在國內(nèi)合作中，我們生成的動作數(shù)據(jù)包含臉部、手部和腿部的完整動作。

其實現(xiàn)在很多機器人公司在平衡性方面還不夠完善，即使我們通過API提供了動作數(shù)據(jù)，他們也需要結(jié)合強化學習和仿真來實現(xiàn)。如果在這方面做得特別好的，可能也能夠驅(qū)動起來。上身其實有很多動作，有一定的泛化性。

這個事情其實我覺得這沒有那么難，就像我們爬樓梯一樣，我的動作能夠通過我們的能力生產(chǎn)出來，然后在仿真環(huán)境中加上強化學習，讓它復制這些動作，一點問題都沒有。

泓君：所以機器人的平衡問題在于，我們收集的3D數(shù)據(jù)只是動作姿態(tài)，沒有力的反饋。一旦加入力的因素，就會出現(xiàn)平衡問題、摔跤問題。

柴金祥：我覺得你好專業(yè)，這里有兩個核心點：驅(qū)動機器人需要運動學（Kinematics）和動力學（Dynamics）。第一步是運動學，比如要抓杯子，需要知道手的pose是什么，該怎么動去抓住它。第二步是動力學，解決需要用多少力、按什么路徑去抓取的問題。我們先做運動學，也就是運動規(guī)劃，這兩者可以結(jié)合起來。

泓君：所以我理解其實機器人公司尋求合作時，兩者都需要。如果從零開始做機器人公司，最缺的就是數(shù)據(jù)，而你們有數(shù)據(jù)的模型就已經(jīng)訓練好了。

柴金祥：是的。因為我們聚焦于交互，下一步我們今年會發(fā)布一個3D動作大模型。比如你告訴它“往前走五步，趴下再爬起來跑”，它就能自動生成3D動作數(shù)據(jù)。這些數(shù)據(jù)可以用來訓練機器人，有了這樣的動作大模型，甚至不需要動作捕捉，因為捕捉也是為了獲取類似數(shù)據(jù)。

泓君：波士頓動力的機器人爬樓梯、旋轉(zhuǎn)、搬箱子已經(jīng)很成熟了。但這是在大模型出現(xiàn)之前，他們研發(fā)了很多年，用了各種方法。你現(xiàn)在用AI模型驅(qū)動爬樓梯動作，這兩者技術(shù)路徑是完全不同還是相似？

圖片來源：Boston Dynamics

柴金祥：你提到一個有意思的點，波士頓動力以前能爬樓梯，但泛化能力不強。比如你給它不同高度的樓梯，它不一定每種樓梯都能爬好。他們展示demo時總是用同一個樓梯。

這就是泛化性的重要性。今天做人形機器人都要面對這個問題：生成數(shù)據(jù)后，能否處理數(shù)據(jù)之外的情況？比如爬樓梯，每個樓梯高度、層數(shù)、摩擦系數(shù)都不同，這些都是一些要泛化的參數(shù)。

那今天你有沒有能力，給任何一個樓梯都能爬得穩(wěn)？另外能否控制爬快一點，或爬慢一點？這仍然是個難題，根源還是數(shù)據(jù)。我們要做的核心就是在虛擬世界中，通過3D動畫大模型生產(chǎn)出動畫的數(shù)據(jù)，讓它爬樓梯，讓它見過所有情況。機器人動作的泛化性和數(shù)字人動作的泛化性，其實這兩件事是一樣的。

泓君：你覺得用AI做機器人經(jīng)歷了哪些變遷？就像你說的，最早可能沒人想到用AI做機器人，后來開始加入強化學習。

柴金祥：最早的時候，AI機器人這個方向很難很難，尤其是人形機器人，我們叫Biped，最難的問題就是雙足平衡。另一個難題是抓取。那個時候做人形機器人最有一段時間日本很火，比如本田的ASIMO。工程師要調(diào)整走路參數(shù)，你都不知道后面有多少工程師在調(diào)這個參數(shù)。這些參數(shù)還不穩(wěn)定，把地面稍微改一改，它就可能跌倒了。那時AI和學習的方法用得不多，主要做控制器。

泓君：所以早期機器人發(fā)展主要關(guān)注控制，為了讓機器人不跌倒。

柴金祥：如果能走，不跌倒，就已經(jīng)很了不起了。后來大家覺得光這樣走不行，你能不能有一定的泛化能力？在不同平面、不同表面，以不同速度行走。如果不用AI方法，這幾乎不可能實現(xiàn)。

ASIMO告別演出 圖片來源：Honda

泓君：你覺得現(xiàn)在的機器人相比20年前進化了多少？

柴金祥：我的進化還是蠻大的。以前讓雙足機器人走跑跳，覺得好難好難，但現(xiàn)在看國內(nèi)很多人形機器人公司，運動會上拿遙控器控制，大部分走跑問題都解決了。這在20年前基本不可能，balance太難了。

泓君：但這是通過遠程操控實現(xiàn)的。

柴金祥：即使遠程操控，還是要解決動力學控制的問題。我覺得如果有視覺語言動作大模型，就不需要那個遙控器了。但用小腦控制這個事情，讓它走，不跌倒，仍然很難?，F(xiàn)在的進步在于數(shù)據(jù)、強化學習、仿真環(huán)境，像NVIDIA。技術(shù)進步后，能力開放出來了，大家都能在仿真環(huán)境里做，你就發(fā)現(xiàn)其實沒那么的難了。

泓君：機器人走路不摔倒，是現(xiàn)在機器人公司的普遍水平，還是只有頭部公司能做到？

柴金祥：對稍好的團隊應該沒問題。但關(guān)鍵點，就是你的泛化能力有多強？在日常訓練的特定場景中不摔倒，如果在新場景搞不定，還是會摔倒。

泓君：那你覺得世界上有多少公司能在部分場景實現(xiàn)機器人不摔倒？

柴金祥：如果完全不摔倒，在新的應用場景其實蠻難的，我不知道現(xiàn)在有沒有公司能做到很強的泛化能力和魯棒性。如果有，我肯定要學習一下的。就拿爬樓梯來說，如果設置沒見過的樓梯情況，我不相信現(xiàn)在世界上有任何一個人形機器人公司能做到。

還有個問題是抓取，早期用人形手抓取的研究不多，機器人整個業(yè)界多用吸盤來吸。但現(xiàn)在很多人研究靈巧手，讓機器人一樣用筷子夾東西，這非常難，需要大腦加小腦配合。大腦要先識別物體和抓取方式，小腦控制筷子夾取。我認為現(xiàn)在看到的都是demo，在特定應用場景下可能有些泛化性，但再擴展就很難。

泓君：我們10月5日的活動您也去了，現(xiàn)場有機器人開可樂。彩排時我放了瓶可樂，他們說要把拉環(huán)對準手指方向，否則那個機器人的手的靈活度還很難去把可樂轉(zhuǎn)一個方向打開。

柴金祥：這還是在特定布置好的環(huán)境里，更不用說進入家庭后各種復雜情況。大家現(xiàn)在看到VLA模型可能解決這個問題，但能否100%解決，其實也沒人知道。如果能，需要多少數(shù)據(jù)才能達到足夠的泛化能力和魯棒性？大家相信擴展定律（Scaling Laws），相信大模型總有一天能解決，但這里面的挑戰(zhàn)是很大很大。

泓君：從你的角度看，現(xiàn)在世界上最好的機器人公司是哪家？為什么？

柴金祥：做機器人有不同的流派：有做本體的、做硬件的、做小腦的、做大腦的。我覺得很難說誰最好，因為“好”有不同的定義。是在研究上有突破，還是已經(jīng)落地商用？也許某條路看起來很有希望，但最后發(fā)現(xiàn)是死路，暫時的領(lǐng)先不一定是最終領(lǐng)先。國內(nèi)也有不同流派，比如宇樹做機器人本體加小腦，它不做大腦。

泓君：大腦指什么？

柴金祥：大腦是處理VLA、疊衣服這類任務。小腦是處理爬樓梯、跳舞、跑步等。我覺得目前還沒看到真正的曙光，可能我比較悲觀。就像其他領(lǐng)域，VR/AR、自動駕駛都有起起落落，AI領(lǐng)域也會這樣。這是機器人第一波浪潮，長期前景光明，但短期挑戰(zhàn)很多。

泓君：你覺得機器人模型達到GPT-3時刻需要多久？

柴金祥：我沒有那么強的認知。我覺得今天的數(shù)據(jù)要泛化能力，還需要很長一段時間。我看到的情況還無法清晰判斷是2年還是3年，但我覺得10年內(nèi)有希望解決。

泓君：所以你們公司沒有直接切入機器人賽道，而是選擇3D和機器人的交叉領(lǐng)域。

柴金祥：如果讓3D數(shù)字人在數(shù)字世界、在VR空間或屏幕上與人交流，能夠抓取、走路、爬樓梯，在數(shù)字世界里已經(jīng)很有用，它已經(jīng)可以有實際應用和商業(yè)落地了。

反過來，做這些對機器人也很有價值。因為在小腦控制方面，你需要先知道怎么動，再用強化學習決定用多少力。從研究角度，機器人是個好方向，有太多可探索的，但從商業(yè)化角度，我自己覺得其實挑戰(zhàn)很多。如果真要商業(yè)化落地，人形機器人在白領(lǐng)領(lǐng)域可能比藍領(lǐng)更快。

圖片來源：宇樹

泓君：你提到數(shù)字世界也會涉及力的反饋，比如好萊塢動畫里面，我們把一個蘋果、一個南瓜甩出，去變成醬，怎么炸開？

柴金祥：那個就是物理。還比如說，你是一個數(shù)字人或3D的角色，從二層樓跳到一層樓，你跳下去的時候，跟地面的反饋和滾動必須符合物理。我們的大模型生成動畫后，它本身就可以用物理方式在虛擬世界中仿真它。同樣的方式，也可以用強化學習的方式去生成這個控制器，我可以在實際世界中這么做，因為這個邏輯是相通的。

泓君：但我有個問題。如果我們收集動畫世界的數(shù)據(jù)來學習，我知道一個人從樓梯摔下后怎么彈、怎么滾的，只是看到現(xiàn)象并用這些數(shù)據(jù)訓練大模型，能反饋，能模擬，但我們還是不知道力是多少。

就是我們說Scaling跟這個所有的大模型，都是黑盒模型。但是我們再把這個場景拉回到現(xiàn)實，我們要讓機器人砸到或拿到一個東西，這個力的大小，我不知道需要通過反復調(diào)控計算得出，所以需要力的數(shù)據(jù)。其實人在現(xiàn)實生活中舉杯子也不需要計算力，靠經(jīng)驗習慣和感知就好了。

我的總體意思就是，過去機器人研究包括力學反饋，都是用白盒方法，但現(xiàn)在模型用黑盒和一套更加經(jīng)驗主義的方法去做。

柴金祥：這就是為什么在泛化到現(xiàn)實世界時挑戰(zhàn)很大，因為泛化涉及的因素太多，整個的過程中你要學力的控制的函數(shù)。

泓君：以前是要自己計算嗎？

柴金祥：對，現(xiàn)在用強化學習，只要有足夠多的數(shù)據(jù)跟它reward，它就能慢慢能夠做。但問題是，我說的抓杯子只是個小例子，這個世界上有多少種情況？所以我希望將來有一個基座大模型，有足夠多數(shù)據(jù)后，在特定場景下我能去調(diào)優(yōu)這個模型，把它慢慢做好。

泓君：我聽下來覺得，機器人領(lǐng)域這波最大進展是研究方式從白盒模型的研究，變成了黑盒模型的研究。從必須知道每個細節(jié)的受力點，靠計算和細節(jié)調(diào)配的研究，變成了端到端的模型，我們不知道內(nèi)部是怎么運作的，但它可以工作。

柴金祥：是的，這條路確實打開了新局面。以前的時候，那套東西更多是顯式的，那種方法肯定不能規(guī)?；?，所以我們覺得做機器人太難了，怎么做也沒有希望的那種感覺。

但是今天我作為一個外行，我覺得雖然很難，但長期來看是有希望的。這套方法在大語言模型和其他領(lǐng)域已經(jīng)展示了能力。如果在機器人這個方向上，如果你有足夠多數(shù)據(jù)，是有可能解決這個問題的，但中間會不會遇到意想不到的問題和低谷，我不知道。

泓君：看起來現(xiàn)在是剛找到一條新的路的那個興奮感的時候，但結(jié)果能否收斂？能否持續(xù)看到效果？這中間肯定會有起起落落。

柴金祥：是的。

【音頻收聽渠道】

公眾號：硅谷101

收聽渠道：蘋果｜小宇宙｜喜馬拉雅｜蜻蜓FM｜網(wǎng)易云音樂｜QQ音樂｜荔枝播客｜嗶哩嗶哩

海外用戶：Apple Podcast｜Spotify｜TuneIn｜Amazon Music

聯(lián)系我們：podcast@sv101.net