胡宇航（網(wǎng)名 “U 航”），畢業(yè)于美國哥倫比亞大學(xué)，博士學(xué)位，首形科技創(chuàng)始人。長期專注于機器人自主學(xué)習(xí)的研究工作。研究成果發(fā)表于《Nature Machine Intelligence》，《Science Robotics》等國際頂級期刊。致力于賦予機器人 “自我模型” 能力，即構(gòu)建對自身物理結(jié)構(gòu)與運動的內(nèi)部表征，使機器人能夠更好地理解自身，并適應(yīng)多變的形態(tài)、環(huán)境與任務(wù)。在仿生人機交互方向，他提出融合語音、視覺與動作的情緒理解與表達一體化系統(tǒng)，為機器人提供更加自然的交互能力。通過自監(jiān)督學(xué)習(xí)機制，他的方法使機器人在無需人工干預(yù)的情況下不斷提升人機互動質(zhì)量，朝著具備終身學(xué)習(xí)能力的智能體不斷邁進。

論文地址：https://www.science.org/doi/10.1126/scirobotics.adx3017

曾發(fā)表論文：

• Hu, Yuhang, et al. "Human-robot facial coexpression." Science Robotics 9.88 (2024): eadi4724.
• Hu, Yuhang, Jiong Lin, and Hod Lipson. "Teaching robots to build simulations of themselves." Nature Machine Intelligence (2025): 1-11.
• https://mp.weixin.qq.com/s/HdnbBweZseTjMedyWHDLSg

2026 年 1 月 15 日，一項來自美國哥倫比亞大學(xué)工程學(xué)院的突破性研究正式發(fā)表于《Science Robotics》，并登上期刊封面。該研究展示了一項全新的機器人技術(shù)：一臺具備仿生面部結(jié)構(gòu)的人形機器人，通過深度學(xué)習(xí)實現(xiàn)與語音和歌曲同步的真實唇部運動。它能跟著人類的語言精準張合嘴唇，甚至，能跟著音樂唱歌。標志著人形機器人在人類最豐富的交流通道之一唇部表達上，邁出了突破性一步。

為什么 “嘴唇” 如此重要？

研究顯示，在面對面的交流中，人類將近一半的注意力集中在唇部運動上。我們或許能容忍機器人走路笨拙、手部動作僵硬，但哪怕極其輕微的不自然面部表情，都會立刻引發(fā)本能的不適。這正是著名的 “恐怖谷”。

長期以來，即便是最先進的人形機器人，在 “說話” 時也只能做出類似木偶的張合動作 —— 如果它們有臉的話。但這一次，情況正在發(fā)生改變。

一個會自主學(xué)習(xí)表情的機器人

在這項研究中，研究團隊打造了一張高度仿生的機器人面孔：

在一層柔性硅膠皮膚之下，隱藏著20 余個微型電機，能夠快速、安靜且協(xié)同地驅(qū)動唇部形變。

圖 2. 機器人唇形硬件結(jié)構(gòu)。（A）面部機器人設(shè)計概覽，重點展示了人機交互關(guān)鍵組件：包括揚聲器、麥克風(fēng)、高清攝像模塊，以及用于固定柔軟硅膠面皮的磁吸式快拆連接器。該連接器能實現(xiàn)面皮的精準定位，并通過推拉雙向運動驅(qū)動硅膠面皮，完成說話時所需的復(fù)雜唇部動作。（B）搭載柔軟硅膠面皮的人形機器人外觀展示。其底座內(nèi)部集成有邊緣計算設(shè)備。（C）唇部驅(qū)動系統(tǒng)特寫，展示上唇、下唇與唇角連接器分別對應(yīng)固定于相應(yīng)唇部支架。柔軟可替換的面皮通過磁吸連接器固定，可便捷拆卸以進行維護或個性化調(diào)整。

隨后，機器人被 “帶到鏡子前”…

就像一個第一次對著鏡子學(xué)做表情的孩子，機器人通過觀察自己面部在不同電機驅(qū)動下的變化，構(gòu)建 Facial Action Transformer (FAT) 模型，逐漸學(xué)會如何控制自己的臉（機器人自我建模 Robotic Self-modeling)。研究團隊將這一過程稱為一種 “視覺 — 動作” 的自監(jiān)督學(xué)習(xí)

圖 3. 機器人能實現(xiàn)的口型及其對應(yīng)音標展示。該機器人展示了再現(xiàn)關(guān)鍵英語音標的能力，例如爆破音（/p/ 和 /b/）、雙唇音（/m/）以及圓唇元音（/u/ 和 /o/）。通過獨立控制上唇、下唇及嘴角，每幀圖像均捕捉到其實現(xiàn)的典型唇部運動效果。這些數(shù)據(jù)為機器人在說話時實現(xiàn)正確的唇形匹配奠定了基礎(chǔ)。

依靠純聲音驅(qū)動嘴形動作

接著，機器人通過觀看合成的機器人視頻（通過 Wav2Lip）在不同語音語料（由 TTS 和 ChatGPT 生成）的真實唇部變化，進一步學(xué)習(xí)聲音與唇部運動之間的對應(yīng)關(guān)系。最終，這兩種能力被整合在一起 —— 機器人得以將收到的聲音信號，直接轉(zhuǎn)化為連續(xù)、自然的唇部運動。無需理解語義，機器人已經(jīng)能 “對得上口型”。

圖 4. 機器人唇形同步的自監(jiān)督學(xué)習(xí)框架。 (A) 數(shù)據(jù)收集階段：機器人通過與語音相關(guān)的隨機指令自主生成數(shù)據(jù)集，利用 RGB 攝像頭捕捉廣泛的唇部運動，以獲取 3D 唇形數(shù)據(jù)。(B) 部署過程：始于來自 ChatGPT 的文本輸入，文本被轉(zhuǎn)換為音頻，隨后利用 Wav2Lip 技術(shù)合成機器人視頻。利用真實機器人視頻及其對應(yīng)指令，訓(xùn)練由編碼器和解碼器（VAE）組成的機器人逆向變換器，以生成平滑、準確、可供真實機器人執(zhí)行的電機指令。

多語言能力

研究團隊測試了機器人在多種語言、不同語音環(huán)境甚至歌曲中的表現(xiàn)。結(jié)果顯示，即使在復(fù)雜的語音節(jié)奏下，機器人也能完成連貫的唇部同步，甚至演唱來自其 AI 生成的曲目。

機器人多語言口型對齊能力

圖 5. 多語言唇語同步性能量化表現(xiàn)。x 軸標簽下方標注的樣本量 n 對應(yīng)每種語言的測試句子視頻幀數(shù)。結(jié)果表明，所有非英語語言的同步誤差均保持在英語誤差范圍內(nèi)，顯示出穩(wěn)健的跨語言泛化能力。

當(dāng)然，這還不是終點。研究者坦言，像 “B” 這類需要完全閉唇的音，以及 “W” 這類涉及明顯撮唇的發(fā)音，仍然存在挑戰(zhàn)。但關(guān)鍵在于 ——這是一種可以隨著學(xué)習(xí)持續(xù)進化的能力，而不是寫死的規(guī)則。

跨越恐怖谷的 “缺失環(huán)節(jié)”

在研究者看來，面部表情 —— 尤其是唇部的自然運動，正是長期以來機器人能力中的 “缺失環(huán)節(jié)”?！爱?dāng)前的人形機器人更多關(guān)注行走和抓取，但凡是需要與人面對面交流的場景，面部表達同樣關(guān)鍵?！?/p>

隨著人形機器人逐漸進入娛樂、教育、醫(yī)療、陪護等高度依賴情感溝通的領(lǐng)域，一張溫暖、自然、可信的‘臉’將不再是加分項，而是入場券。經(jīng)濟學(xué)家預(yù)測，未來十年全球或?qū)⒅圃斐^十億臺人形機器人進入人們的生活場景。而幾乎可以確定的是 —— 它們不可能都沒有臉。

從實驗室走向現(xiàn)實

這項封面研究，不僅是一次學(xué)術(shù)突破，也展示了中國學(xué)者在國際人形機器人領(lǐng)域具備獨特的創(chuàng)新能力。

第一作者胡宇航博士表示，當(dāng)唇部同步能力與對話型大模型結(jié)合時，機器人與人類之間的連接將發(fā)生質(zhì)變?！拔覀兘涣髦杏写罅壳楦行畔⒉⒉辉谡Z言本身，而在面部和身體語言中。機器人正在開始觸碰這條通道?！?/p>

當(dāng)機器人真正學(xué)會像人一樣 “說話” 和 “表達”，

恐怖谷，正在被一步步填平。

人類與機器人的信任和情感，將會迎來新的篇章。