這項由卡內(nèi)基梅隆大學(xué)聯(lián)合德克薩斯大學(xué)阿靈頓分校、博世人工智能中心共同完成的研究，以預(yù)印本形式發(fā)布于2026年4月，論文編號為arXiv:2604.13015，有興趣深入了解的讀者可通過該編號查詢完整原文。

人類在疊毛巾、往書架上放書、端著兩杯熱茶走路這些事情上幾乎不需要動腦，但對于一臺人形機(jī)器人來說，這些任務(wù)背后藏著令人頭疼的難題：手指需要感知力道，身體需要保持平衡，眼睛需要判斷位置，而這一切還得同時發(fā)生、相互配合。研究團(tuán)隊在這項工作中正是瞄準(zhǔn)了這個問題，試圖讓人形機(jī)器人真正學(xué)會"有感覺"地操作物體。

一個有趣的類比是：駕駛一輛沒有方向盤反饋的賽車。你能看到賽道，但感受不到輪胎與地面的摩擦，無法判斷是否即將失控?，F(xiàn)有的大多數(shù)機(jī)器人操控系統(tǒng)正處于這種境地——它們可以看，可以動，卻缺少那層關(guān)鍵的"手感"。這項研究的核心貢獻(xiàn)，就是為機(jī)器人裝上了這層手感，并用一套名為"觸覺夢境"的方法，讓機(jī)器人通過預(yù)測未來的觸感來提升當(dāng)下的操作能力。

一、人形機(jī)器人為什么這么難駕馭

在正式介紹這套系統(tǒng)之前，值得先花點時間理解問題的難度。人形機(jī)器人與工廠里那種固定在地面上的機(jī)械臂完全不同，它需要用兩條腿站立和行走，同時用兩只手完成精細(xì)操作。這就像一個人在獨木橋上單腳跳的同時還要穿針引線——任何一個環(huán)節(jié)的細(xì)微失誤都可能讓整套動作崩潰。

更麻煩的是，操作中的接觸狀態(tài)會頻繁變化。插入一個形狀吻合度很高的零件時，手指與零件之間的接觸力在毫秒級別內(nèi)就會發(fā)生劇烈變化；疊一條毛巾時，軟質(zhì)材料的形變完全無法從視覺中準(zhǔn)確預(yù)判。這類"接觸豐富"的任務(wù)對機(jī)器人來說尤其困難，因為純靠攝像頭看圖像，很難知道此刻手指正承受多少力、物體是否在打滑。

研究團(tuán)隊在論文中提到，當(dāng)前絕大多數(shù)人形機(jī)器人研究系統(tǒng)要么有全身控制、要么有靈巧的手、要么有觸覺傳感，但幾乎沒有系統(tǒng)把三者同時做到并整合進(jìn)一個能夠?qū)嶋H學(xué)習(xí)操作任務(wù)的平臺中。這個空缺，就是這項工作填補(bǔ)的地方。

二、一套完整的"學(xué)習(xí)操作"流水線

研究團(tuán)隊構(gòu)建的系統(tǒng)分成四個緊密銜接的部分，就像一條生產(chǎn)線，每個環(huán)節(jié)的輸出都是下一個環(huán)節(jié)的輸入。

第一個環(huán)節(jié)是訓(xùn)練機(jī)器人的下半身控制器。這個控制器負(fù)責(zé)讓機(jī)器人站穩(wěn)、走路、彎腰、蹲下，同時保證上半身在做各種動作時整體不會摔倒。訓(xùn)練過程在計算機(jī)模擬環(huán)境中完成，采用的方法是先訓(xùn)練一個"老師"策略，這個老師可以獲取模擬器里的特權(quán)信息（比如腳是否踩地），然后再訓(xùn)練一個"學(xué)生"策略，學(xué)生只能使用真實機(jī)器人上能拿到的傳感器數(shù)據(jù)來模仿老師的行為。這種方式確保訓(xùn)練出來的控制器可以直接部署到真實機(jī)器人上，不會因為模擬與現(xiàn)實的差距而失效。

這個下半身控制器能夠穩(wěn)定地執(zhí)行一系列復(fù)雜指令：身體前進(jìn)后退左右移動的速度、軀干的傾斜角度和高度，甚至支持讓機(jī)器人蹲下夠到地面上的物體，或者在行走過程中保持上半身朝向不同方向。經(jīng)過系統(tǒng)性測試，該控制器能夠在多個方向上維持穩(wěn)定，高度可控范圍從33厘米到80厘米，軀干俯仰角度的可控范圍超過兩個弧度，這為上半身的靈活操作提供了堅實的支撐基礎(chǔ)。

第二個環(huán)節(jié)是數(shù)據(jù)采集系統(tǒng)。操作人員佩戴VR頭盔，頭部、手腕、手指的運(yùn)動實時映射到機(jī)器人身上——頭部運(yùn)動轉(zhuǎn)化為軀干的姿態(tài)指令，手腕運(yùn)動通過逆運(yùn)動學(xué)計算轉(zhuǎn)化為機(jī)器人手臂的關(guān)節(jié)角度，手指的彎曲程度則通過一套叫做DexPilot的方法轉(zhuǎn)化為機(jī)器人靈巧手的手指動作，優(yōu)化的目標(biāo)是讓機(jī)器人手指尖之間的距離關(guān)系盡量和操作員一致。操作員還通過一個手柄搖桿控制機(jī)器人的行走方向和速度。在整個遙控過程中，系統(tǒng)同步記錄多路攝像頭圖像、機(jī)器人身體和手部的關(guān)節(jié)狀態(tài)、手部每個關(guān)節(jié)的受力數(shù)據(jù)，以及來自兩只手上分布式觸覺傳感器的數(shù)據(jù)。

談到觸覺傳感，每只手上的傳感器覆蓋17個區(qū)域，包括拇指、食指、中指、無名指、小指各自的幾個節(jié)段，以及手掌，每只手提供1062維的觸覺觀測數(shù)據(jù)。這些數(shù)據(jù)記錄了手與物體接觸時各個位置的壓力分布，就像給機(jī)器人的手掌鋪了一張精密的壓力地圖。

三、讓機(jī)器人"幻想"未來觸感的核心算法

采集到足夠的演示數(shù)據(jù)之后，研究團(tuán)隊用這些數(shù)據(jù)訓(xùn)練了一個名為"人形觸覺夢境變換器"的策略模型，英文縮寫為HTD。這個模型的架構(gòu)可以用"感官融合加預(yù)測"來理解：它同時接收視覺、本體感覺（關(guān)節(jié)角度和速度）、手指受力和觸覺信號，經(jīng)過一個編碼器把這些信息融合成一個統(tǒng)一的內(nèi)部表達(dá)，再通過一個解碼器產(chǎn)生機(jī)器人接下來要執(zhí)行的動作序列。

模型的巧妙之處在于它額外做了一件事：除了預(yù)測下一步動作，它還被要求預(yù)測未來一段時間內(nèi)手指會承受怎樣的力，以及未來的觸覺傳感器會呈現(xiàn)怎樣的激活模式。這就是研究團(tuán)隊稱之為"觸覺夢境"的機(jī)制——機(jī)器人在操作過程中，不僅根據(jù)當(dāng)前感知到的狀態(tài)決定下一步怎么動，還被訓(xùn)練成能夠提前"感受"到即將發(fā)生的接觸是什么樣子的。

這種預(yù)測并不是在原始傳感器數(shù)據(jù)層面進(jìn)行的，而是在一個經(jīng)過學(xué)習(xí)的"壓縮空間"里進(jìn)行。研究團(tuán)隊發(fā)現(xiàn)，直接讓模型預(yù)測原始觸覺數(shù)據(jù)效果很差，因為觸覺信號本身噪聲大、稀疏、維度高，直接回歸這種信號很容易被噪聲主導(dǎo)而學(xué)不到有意義的東西。他們的解決方案是使用一個"指數(shù)移動平均教師編碼器"來產(chǎn)生穩(wěn)定的目標(biāo)標(biāo)簽——這個教師編碼器的參數(shù)是學(xué)生編碼器參數(shù)的滑動平均，更新非常緩慢，像一個經(jīng)驗豐富的老師，給出的參考答案不會因為學(xué)生的每次波動而大幅變化，從而避免了模型陷入所有觸覺輸入都映射到相同表達(dá)的"坍塌"困境。

學(xué)生模型被訓(xùn)練成在這個壓縮空間里預(yù)測未來的觸覺狀態(tài)，損失函數(shù)同時優(yōu)化預(yù)測方向（用余弦相似度衡量）和預(yù)測幅度（用平滑L1損失衡量），確保預(yù)測結(jié)果在方向和大小兩個維度上都盡量貼近教師給出的目標(biāo)。整個訓(xùn)練只需要一個階段，不需要先單獨預(yù)訓(xùn)練觸覺模塊再拼接到策略網(wǎng)絡(luò)上，所有目標(biāo)一起優(yōu)化。

在模型結(jié)構(gòu)上，每種輸入模態(tài)都有專屬的編碼模塊。圖像通過預(yù)訓(xùn)練的殘差網(wǎng)絡(luò)提取特征；關(guān)節(jié)狀態(tài)和受力信號通過輕量級多層感知機(jī)處理；觸覺輸入則采用了一套按手指區(qū)域獨立編碼的方案——拇指、食指、中指等每個區(qū)域先被分成若干局部小塊，每個小塊重塑成二維壓力圖后經(jīng)過卷積網(wǎng)絡(luò)處理，再合并成該區(qū)域的緊湊表達(dá)。不同模態(tài)的特征統(tǒng)一通過交叉注意力機(jī)制壓縮成固定數(shù)量的"令牌"，然后輸入變換器編碼器進(jìn)行跨模態(tài)融合。輸出端同樣是模塊化的設(shè)計，不同類型的動作（末端執(zhí)行器姿態(tài)、軀干姿態(tài)、行走速度、手指動作）由獨立的專家模塊解碼，觸覺預(yù)測也由專屬的"夢境專家"模塊產(chǎn)生。部署時，夢境專家的輸出完全不使用，只有動作專家的輸出被發(fā)送給機(jī)器人執(zhí)行。

四、五項真實世界任務(wù)的考驗

研究團(tuán)隊在五項各具特色的真實操作任務(wù)上測試了整套系統(tǒng)，每項任務(wù)都針對不同類型的挑戰(zhàn)。

第一項任務(wù)是把一個T形積木插入一個T形底座。這個任務(wù)之所以困難，在于底座與積木之間的間隙只有3.5毫米，相當(dāng)于在一個只比零件本身大一點點的孔里精確對齊并推入。細(xì)微的角度偏差就會卡住，需要機(jī)器人根據(jù)接觸力實時微調(diào)姿態(tài)。

第二項任務(wù)是整理書本。機(jī)器人面對的是一本放在桌面上的硬皮書，書本太薄，沒有直接抓握的空間。機(jī)器人需要先用手指將書輕輕推出去，制造出一個可以抓握的懸空邊緣，再抓起來放到書架上。任務(wù)中使用了兩種不同的書，且每次書的初始位置都在一定范圍內(nèi)隨機(jī)變化。

第三項任務(wù)是疊毛巾，這是典型的可變形物體操作任務(wù)，毛巾每次的初始折疊狀態(tài)都不同，整個任務(wù)包含多個連續(xù)的操作步驟，對長時程規(guī)劃和精細(xì)手部控制都有要求。

第四項任務(wù)是貓砂鏟。機(jī)器人需要先蹲下去撿起地面上的鏟子，然后用鏟子從貓砂盆里舀起貓砂，再走到垃圾桶邊把貓砂倒進(jìn)去。這個任務(wù)同時測試了全身協(xié)調(diào)（蹲下是非常大幅度的動作）和工具使用能力，而且鏟子、垃圾桶的位置每次都有變化。

第五項任務(wù)是端茶服務(wù)。機(jī)器人走到一個吧臺旁，拿起兩杯隨機(jī)擺放的茶，端著走向另一張桌子，停下來，把兩杯茶放到桌上。這個任務(wù)測試的是雙手同時持物行走時保持物體穩(wěn)定的能力，以及整個過程中的全身協(xié)調(diào)。

每項任務(wù)進(jìn)行20次真實機(jī)器人測試，同時比較了三種方法：只使用視覺和本體感覺的ACT基線、在此基礎(chǔ)上額外加入觸力覺輸入的ACT基線，以及完整的HTD方法。HTD在五項任務(wù)的平均成功率上比較強(qiáng)的那個ACT基線提升了約30個百分點，換算為相對提升約為90.9%，在平均得分率（部分完成也算分）上也提升約17.9個百分點。

具體分析各任務(wù)的表現(xiàn)，T形插入任務(wù)體現(xiàn)了觸覺對精密對齊的幫助，毛巾疊放展示了在長序列可變形物體操作中的優(yōu)勢，貓砂鏟任務(wù)獲得了最大的相對提升，原因是蹲下加工具使用的組合對全身協(xié)調(diào)要求極高。端茶任務(wù)中，ACT方法在雙手成功抓起兩杯茶之后經(jīng)常無法順利完成轉(zhuǎn)身和行走，而HTD的表現(xiàn)穩(wěn)健得多，研究團(tuán)隊認(rèn)為這與HTD把行走速度命令作為獨立模塊解碼有關(guān)，讓這個維度較低但行為上非常重要的輸出不會被其他高維動作信號淹沒。書本整理任務(wù)的提升相對較小，可能因為該任務(wù)的視覺線索更充分、位置變化范圍更小，對觸覺的額外信息依賴相對低一些。

五、觸覺到底有多重要——拆解實驗說話

為了精確理解觸覺和觸覺夢境各自的貢獻(xiàn)，研究團(tuán)隊在T形插入和毛巾疊放兩個任務(wù)上做了細(xì)致的消融實驗，對比了四種變體。

第一種是完全去掉觸覺輸入和觸覺夢境訓(xùn)練目標(biāo)，第二種是保留觸覺輸入但去掉夢境預(yù)測任務(wù)，第三種是加入夢境訓(xùn)練但在原始傳感器空間預(yù)測未來觸覺，第四種是完整方法，在壓縮的潛在空間里預(yù)測未來觸覺。

實驗結(jié)果揭示出三個層次的結(jié)論。首先，單純把觸覺數(shù)據(jù)喂給模型并不穩(wěn)定可靠——在毛巾疊放上有幫助，在T形插入上沒有幫助，平均成功率甚至略微下降。這說明觸覺信號本身如果沒有好的學(xué)習(xí)機(jī)制配合，并不能自動轉(zhuǎn)化為更好的控制表現(xiàn)，反而可能引入噪聲干擾。

其次，加入夢境預(yù)測任務(wù)之后，無論是在原始空間還是在潛在空間預(yù)測，都明顯優(yōu)于只用觸覺輸入不做預(yù)測的情況，說明讓模型主動"預(yù)期"未來接觸的學(xué)習(xí)信號，比被動接收當(dāng)前觸覺信號更有效。

最后，在潛在空間里做夢境預(yù)測比在原始空間里做效果顯著更好，成功率相對提升約30%。這一點在研究者的直覺中并不難理解——原始觸覺信號高維、稀疏、充滿噪聲，讓網(wǎng)絡(luò)在這個空間里學(xué)習(xí)預(yù)測，信號質(zhì)量太低；而壓縮空間里的表達(dá)濾除了噪聲，保留了接觸狀態(tài)的結(jié)構(gòu)化信息，預(yù)測目標(biāo)更加清晰，學(xué)習(xí)效率自然更高。

研究團(tuán)隊還對預(yù)測的質(zhì)量做了定性可視化。在端茶和疊毛巾兩個任務(wù)的完整操控過程中，模型預(yù)測的未來手部受力軌跡與真實記錄的力信號在接觸發(fā)生的時機(jī)和力的大小上都保持了較好的一致性。觸覺潛在表達(dá)的相似度在持續(xù)接觸階段穩(wěn)定維持在較高水平，只在接觸狀態(tài)突然切換的瞬間出現(xiàn)短暫下降，而這種下降是可以理解的——模型以開環(huán)方式一次性預(yù)測一個完整的短序列，當(dāng)接觸狀態(tài)在序列中途發(fā)生不可預(yù)測的突變時，預(yù)測自然會出現(xiàn)偏差，但整體上仍然保持了較高的準(zhǔn)確性。

從潛在表達(dá)的熱力圖上還能觀察到一個有意思的規(guī)律：當(dāng)手指處于無接觸或輕接觸狀態(tài)時，不同手指、不同任務(wù)之間的基礎(chǔ)激活模式相互類似；一旦發(fā)生較強(qiáng)的接觸，激活模式就變得高度個性化，產(chǎn)生獨特的高強(qiáng)度響應(yīng)圖案。這說明學(xué)習(xí)到的觸覺潛在空間確實捕捉到了有物理意義的接觸結(jié)構(gòu)，而不僅僅是對原始傳感器信號的簡單壓縮。

歸根結(jié)底，這項研究用一套實際可運(yùn)行的完整系統(tǒng)證明了一件事：要讓人形機(jī)器人在真實世界里可靠地做那些對人類來說再自然不過的操作任務(wù)，光有眼睛和本體感覺是不夠的，觸覺必須成為核心感知模態(tài)，而且需要用"預(yù)測未來觸感"這種主動方式來學(xué)習(xí)，而非被動地把觸覺信號塞進(jìn)輸入端了事。這套"硬件齊備、數(shù)據(jù)高效、訓(xùn)練一步到位"的路徑，可能是通往更通用人形機(jī)器人的一條實際可行的道路。

說到底，這項研究解決的是一個看起來很具體，實則牽一發(fā)動全身的問題：機(jī)器人的手怎樣才能真正"感覺"到它在觸摸什么。研究團(tuán)隊沒有繞彎子，而是老老實實地搭了一套完整的系統(tǒng)，從讓機(jī)器人站穩(wěn)，到幫它學(xué)會抓握，再到讓它能預(yù)感未來的接觸，每一步都有扎實的實驗支撐。五項任務(wù)超過九成的相對提升率，以及消融實驗里層層剝開的證據(jù)，共同指向一個清晰的結(jié)論：觸覺夢境這個主意是對的，而且在壓縮的潛在空間里做這件事比在原始傳感器數(shù)據(jù)里做更聰明。這對未來想在家里幫你疊衣服、端茶倒水的人形機(jī)器人來說，是一個值得認(rèn)真參考的方向。感興趣的讀者可以通過arXiv編號2604.13015找到完整論文，進(jìn)一步了解技術(shù)細(xì)節(jié)。

Q&A

Q1：觸覺夢境（Touch Dreaming）是什么原理，為什么比直接輸入觸覺信號效果更好？

A：觸覺夢境是一種訓(xùn)練技巧，讓機(jī)器人在學(xué)習(xí)動作的同時，額外學(xué)習(xí)預(yù)測未來一段時間內(nèi)手部會感受到什么觸覺和受力狀態(tài)。這個預(yù)測任務(wù)迫使模型內(nèi)部必須構(gòu)建出對接觸動態(tài)的理解，而不僅僅記憶"看到這個畫面就做這個動作"。關(guān)鍵是預(yù)測在壓縮的潛在空間里進(jìn)行，而不是直接預(yù)測原始傳感器數(shù)值，因為原始觸覺數(shù)據(jù)維度高、噪聲大、稀疏，直接回歸這種信號效果很差；壓縮空間過濾了噪聲，保留了接觸結(jié)構(gòu)，學(xué)習(xí)信號更清晰，這使得成功率相比在原始空間預(yù)測又提升了約30%。

Q2：人形機(jī)器人下半身控制器是如何訓(xùn)練出來的，為什么要用教師-學(xué)生框架？

A：控制器在計算機(jī)模擬環(huán)境中用強(qiáng)化學(xué)習(xí)訓(xùn)練。先訓(xùn)練一個"教師"策略，它可以獲取模擬器內(nèi)部的特權(quán)數(shù)據(jù)（如精確腳踩地狀態(tài)），因此表現(xiàn)出色；然后訓(xùn)練一個"學(xué)生"策略，學(xué)生只能使用真實機(jī)器人能拿到的傳感器數(shù)據(jù)來模仿教師的動作選擇，通過減小兩者輸出差異來學(xué)習(xí)。這樣做是因為教師在模擬中表現(xiàn)好，但依賴真實世界沒有的信息，無法直接部署；學(xué)生通過模仿獲得了教師的能力，卻只使用可用信息，可以直接在真實機(jī)器人上運(yùn)行，解決了模擬到現(xiàn)實的遷移問題。

Q3：人形觸覺夢境變換器（HTD）在部署時是否需要運(yùn)行觸覺預(yù)測模塊？

A：不需要。觸覺預(yù)測模塊（稱為夢境專家）只在訓(xùn)練階段使用，它的作用是通過預(yù)測未來觸感這一輔助任務(wù)，逼迫模型的共享變換器主干學(xué)習(xí)到對接觸動態(tài)敏感的內(nèi)部表達(dá)。訓(xùn)練完成后，部署時只需要運(yùn)行動作專家模塊，夢境專家的輸出完全不被調(diào)用。這意味著推理階段的計算量不增加，整個系統(tǒng)在實際使用中與普通策略網(wǎng)絡(luò)一樣高效，不存在額外的運(yùn)行時開銷。