來源：機(jī)器觸覺前沿

圖1 Nature Sensors封面圖，SuperTac在封面上展示（右下角）

全文速覽

隨著機(jī)器人技術(shù)從“預(yù)設(shè)程序執(zhí)行”向“具身智能交互”發(fā)展，機(jī)器人與環(huán)境的物理交互能力成為制約其自主性與適應(yīng)性的關(guān)鍵瓶頸。觸覺感知作為機(jī)器人理解物體屬性、實(shí)現(xiàn)精細(xì)操作、保障人機(jī)安全的核心傳感方式，其重要性日益凸顯。然而，當(dāng)前機(jī)器人的觸覺系統(tǒng)在感知維度、分辨率和信號理解能力上仍遠(yuǎn)遜于人類，難以支撐復(fù)雜、動態(tài)的真實(shí)場景任務(wù)。

近日，清華大學(xué)深圳國際研究生院丁文伯團(tuán)隊(duì)聯(lián)合多所研究機(jī)構(gòu)，從鴿子卓越的多光譜視覺與非成像感知機(jī)制中汲取靈感，提出一種仿生多模態(tài)觸覺傳感器（SuperTac），將多光譜成像、摩擦電傳感與慣性測量融為一體，并通過構(gòu)建觸覺語言模型（DOVE）實(shí)現(xiàn)觸覺信號的理解與推理，旨在推動機(jī)器人觸覺感知向“人類水平”邁進(jìn)，為智能制造、醫(yī)療輔助與服務(wù)機(jī)器人等領(lǐng)域提供新一代觸覺解決方案。相關(guān)成果發(fā)表在Nature Sensors第一期上，也是國內(nèi)機(jī)構(gòu)首次以第一單位發(fā)表在該期刊上的文章。

文章題目：

Biomimetic multimodal tactile sensing enables human-like robotic perception

DOI：10.1038/s44460-025-00006-y

01

研究背景

在觸覺傳感技術(shù)領(lǐng)域，現(xiàn)有主流方案主要包括電子皮膚與視觸覺傳感器兩類，但均存在顯著不足：

1. 電子皮膚傳感器雖能通過多功能材料實(shí)現(xiàn)多模態(tài)感知，但提升空間分辨率需依賴密集電極陣列，易導(dǎo)致信號串?dāng)_、系統(tǒng)復(fù)雜、穩(wěn)定性下降，難以兼顧高分辨率與多模態(tài)融合;

2. 視觸覺傳感器通過光學(xué)成像實(shí)現(xiàn)亞毫米級分辨率，易于與計(jì)算機(jī)視覺模型結(jié)合，但其感知譜段通常局限于可見光，缺乏對溫度、材質(zhì)、接近感等非成像模態(tài)的融合能力，限制了其在多物理場環(huán)境中的全面感知;

3. 當(dāng)前觸覺系統(tǒng)普遍面臨觸覺信號解讀能力薄弱的問題，缺乏能夠融合多模態(tài)觸覺信息并進(jìn)行語義推理的智能模型，導(dǎo)致機(jī)器人“有感無知”，難以實(shí)現(xiàn)類人的觸覺認(rèn)知與交互決策。

02

研究貢獻(xiàn)

本研究構(gòu)建的多模態(tài)觸覺傳感系統(tǒng)包含三大核心組件：仿生多模態(tài)觸覺傳感器（SuperTac）、數(shù)據(jù)處理與特征提取模塊、以及觸覺語言模型理解推理層（DOVE）。系統(tǒng)架構(gòu)采用分層設(shè)計(jì)，實(shí)現(xiàn)了從物理信號采集到語義理解的全流程閉環(huán)處理。系統(tǒng)的具體工作流程如下：

• 物理信號感知層：SuperTac通過多層感知皮膚同步采集多光譜視覺、摩擦電和慣性測量信號；

• 數(shù)據(jù)融合處理層：基于深度學(xué)習(xí)網(wǎng)絡(luò)對原始信號進(jìn)行特征提取和模態(tài)融合；

• 語義理解推理層：DOVE模型將多模態(tài)特征映射到語義空間，實(shí)現(xiàn)觸覺信息的自然語言描述與推理；

• 應(yīng)用交互層：集成至機(jī)器人系統(tǒng)，支持抓取、識別、人機(jī)交互等實(shí)際任務(wù)這一架構(gòu)的核心創(chuàng)新在于實(shí)現(xiàn)了物理傳感-特征提取-語義理解的端到端一體化設(shè)計(jì)，將傳統(tǒng)分離的傳感與解讀過程有機(jī)融合，為機(jī)器人提供了類人的觸覺感知與認(rèn)知能力。

03

生物靈感來源

受到鴿子卓越視覺系統(tǒng)的啟發(fā)，本工作的設(shè)計(jì)借鑒了其視網(wǎng)膜中多類型視錐細(xì)胞的分工機(jī)制，特別是紫外敏感細(xì)胞，以拓展傳感器的光譜感知范圍。同時，模擬了鴿子視網(wǎng)膜中用于磁場感知的特殊分子機(jī)制，將非成像感知能力遷移至觸覺傳感領(lǐng)域，從而突破傳統(tǒng)視覺傳感的局限。

效仿生物神經(jīng)系統(tǒng)對多感官信息并行處理與協(xié)同融合的原理，構(gòu)建了多模態(tài)傳感物理系統(tǒng)：通過紫外波段實(shí)現(xiàn)標(biāo)記點(diǎn)追蹤與滑動識別；可見光波段用于顏色與環(huán)境視覺感知；近紅外波段專攻紋理與接觸力分布檢測；中紅外波段負(fù)責(zé)溫度場測量。

結(jié)合基于PEDOT:PSS透明導(dǎo)電層設(shè)計(jì)的摩擦電傳感模塊，通過接觸靜電荷差異識別材質(zhì)并實(shí)現(xiàn)接近感知；集成MPU6050慣性測量單元實(shí)時采集三維姿態(tài)與加速度數(shù)據(jù)，支持碰撞檢測與振動分析；最終通過氣壓可調(diào)的硅膠充氣支撐結(jié)構(gòu)構(gòu)成自適應(yīng)感知皮膚，動態(tài)調(diào)節(jié)0-7N力感知范圍，實(shí)現(xiàn)對復(fù)雜曲面的高保真輪廓重建。

圖2 生物啟發(fā)原理及其應(yīng)用場景

04

設(shè)計(jì)與測試

·感知皮膚設(shè)計(jì)

感知皮膚采用總厚度僅1mm的四層薄膜堆疊結(jié)構(gòu)：導(dǎo)電層由PEDOT:PSS/TPU復(fù)合薄膜構(gòu)成，通過渦旋線電極設(shè)計(jì)實(shí)現(xiàn)均勻信號分布，兼具高透明度與良好導(dǎo)電性；熒光層采用紫外熒光油墨，可在紫外光下顯影、近紅外下透明，實(shí)現(xiàn)工作模式切換與標(biāo)記追蹤；反射層為銀粉/硅膠復(fù)合材料，具備單向鏡效應(yīng)，能通過光強(qiáng)控制實(shí)現(xiàn)不同波段的透明/不透明切換；支撐層采用氣壓可調(diào)的硅膠充氣薄膜，不僅提供機(jī)械支撐，更具備優(yōu)于傳統(tǒng)亞克力的中紅外透過性。

基于反射層的光控透明特性，系統(tǒng)實(shí)現(xiàn)智能工作模式切換：觸覺模式下內(nèi)部光源開啟，薄膜呈不透明狀態(tài)，實(shí)現(xiàn)表面紋理和力的精確檢測；視覺模式下內(nèi)部光源關(guān)閉，薄膜轉(zhuǎn)為透明狀態(tài)，允許外部環(huán)境光的直接觀測，形成獨(dú)特的光場調(diào)制機(jī)制。

圖3 內(nèi)部結(jié)構(gòu)及功能表征

· 數(shù)據(jù)處理與特征提取算法

在數(shù)據(jù)處理與特征提取算法中，力與位置感知采用基于U-Net的編碼器-解碼器架構(gòu)，以ResNet-48作為編碼器，輸入128×128 RGB變形圖像并輸出三維力分布圖與位置坐標(biāo)；經(jīng)過86,440組涵蓋48種探針形態(tài)的接觸數(shù)據(jù)訓(xùn)練，系統(tǒng)達(dá)到位置檢測均方誤差0.056mm、力檢測均方誤差0.0004N的精度。針對多模態(tài)分類任務(wù)，算法采用專門化網(wǎng)絡(luò)設(shè)計(jì)：紋理識別（ResNet-18 + MLP，NIR圖像，98%準(zhǔn)確率）、材質(zhì)分類（信號處理+MLP，摩擦電信號，95%準(zhǔn)確率）、顏色識別（ResNet-18 + MLP，RGB圖像，100%準(zhǔn)確率）、滑動檢測（LSTM網(wǎng)絡(luò)，紫外標(biāo)記序列，97%準(zhǔn)確率）及碰撞檢測（LSTM網(wǎng)絡(luò)，IMU時序信號，94%準(zhǔn)確率）。在三維重建與輪廓感知方面，基于紫外熒光標(biāo)記的位移分析算法實(shí)現(xiàn)變形重建，平均均方根誤差0.0892、平均絕對誤差0.0375，輪廓保真度可識別0.07mm細(xì)發(fā)并實(shí)現(xiàn)100%盲文字符識別準(zhǔn)確率。

· 觸覺語言模型設(shè)計(jì)與實(shí)現(xiàn)

DOVE觸覺語言模型采用基于預(yù)訓(xùn)練視覺-語言模型的架構(gòu)，總參數(shù)量達(dá)8.6B。模型通過投影層實(shí)現(xiàn)觸覺特征到語義空間的嵌入對齊，能夠融合觸覺、溫度、顏色和材質(zhì)等多模態(tài)信息進(jìn)行聯(lián)合推理。

訓(xùn)練過程采用三階段策略：第一階段使用CLIP模型提取圖像特征并附加MLP分類器進(jìn)行編碼器預(yù)訓(xùn)練；第二階段移除分類器并添加投影層，實(shí)現(xiàn)多模態(tài)特征表示的嵌入對齊；第三階段采用LoRA方法對投影層和語言網(wǎng)絡(luò)（Vicuna）進(jìn)行高效微調(diào)。數(shù)據(jù)集構(gòu)建方面，系統(tǒng)采集了6種顏色、3種溫度、10種材質(zhì)和6種紋理的完整組合物理數(shù)據(jù)，同時基于GPT-4和規(guī)則腳本生成了30,000組觸覺語言問答對，并構(gòu)建了包含1,000個新樣本的獨(dú)立評估集用于模型性能驗(yàn)證。

圖4 觸覺感知模型及應(yīng)用實(shí)驗(yàn)

·性能評估及實(shí)驗(yàn)

系統(tǒng)性能通過多層次實(shí)驗(yàn)體系進(jìn)行全面驗(yàn)證：在基礎(chǔ)傳感性能測試中，對力、位置、溫度、振動等物理量進(jìn)行精度標(biāo)定；通過分類任務(wù)評估驗(yàn)證紋理、材質(zhì)、顏色等屬性的識別準(zhǔn)確率；開展80,000次接觸循環(huán)的耐久性測試，分析長期使用下的信號穩(wěn)定性；在實(shí)際應(yīng)用驗(yàn)證階段，于機(jī)器人抓取、物體識別、人機(jī)交互等真實(shí)場景中測試系統(tǒng)可靠性；同時進(jìn)行對比實(shí)驗(yàn)，與傳統(tǒng)GelSight等傳感器在輪廓感知、紋理識別等關(guān)鍵性能指標(biāo)上進(jìn)行系統(tǒng)化比較。

05

總結(jié)與未來展望

本研究為機(jī)器人觸覺感知開辟了多個富有前景的發(fā)展方向。在硬件層面，傳感器的微型化將推動其在機(jī)器人指尖的集成，從而顯著提升手內(nèi)操作的靈巧性。DOVE模型所采用的模態(tài)無關(guān)框架具有良好的可擴(kuò)展性，能夠適配不同傳感器配置與應(yīng)用場景，為多模態(tài)觸覺系統(tǒng)提供了通用的軟件基礎(chǔ)。未來工作將重點(diǎn)研發(fā)低功耗解碼芯片與高集成度封裝方案，在進(jìn)一步減小系統(tǒng)尺寸的同時有效解決散熱與穩(wěn)定性問題。我們還將持續(xù)優(yōu)化DOVE模型在不同傳感器設(shè)計(jì)和專用數(shù)據(jù)集上的表現(xiàn)，增強(qiáng)其泛化能力與實(shí)用性。這些技術(shù)發(fā)展將逐步彌合機(jī)器人與人類在感知能力上的差距，為實(shí)現(xiàn)更自然、更高效的人機(jī)交互奠定堅(jiān)實(shí)基礎(chǔ)。

圖5 裝有SuperTac的靈巧手

06

作者信息

論文第一作者為清華大學(xué)深圳國際研究生院25屆數(shù)據(jù)科學(xué)和信息技術(shù)博士畢業(yè)生、南洋理工大學(xué)博士后李壽杰，清華大學(xué)深圳國際研究生院23級數(shù)據(jù)科學(xué)和信息技術(shù)博士生吳同和23級人工智能碩士生徐建樂。論文通訊作者包括清華大學(xué)深圳國際研究生院副教授丁文伯，大連理工大學(xué)教授解兆謙，新加坡國立大學(xué)助理教授吳昌盛和香港城市大學(xué)教授于欣格。

閱讀最新前沿科技趨勢報(bào)告，請?jiān)L問歐米伽研究所的“未來知識庫”

https://wx.zsxq.com/group/454854145828

未來知識庫是“ 歐米伽 未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級智能，數(shù)智大腦、能源、軍事、經(jīng)濟(jì)、人類風(fēng)險(xiǎn)等等領(lǐng)域的前沿進(jìn)展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進(jìn)入。