具身智能通過(guò)與環(huán)境的實(shí)時(shí)互動(dòng)，在“感知?決策?執(zhí)行”的閉環(huán)中優(yōu)化自身行為，從而突破了傳統(tǒng)人工智能在非結(jié)構(gòu)化場(chǎng)景中的能力限制。即時(shí)獲取環(huán)境反饋并動(dòng)態(tài)調(diào)整策略，顯著提升了系統(tǒng)在多種現(xiàn)實(shí)任務(wù)中的表現(xiàn)。觸覺感知能提供直接的物理狀態(tài)信息，輔助實(shí)時(shí)行為調(diào)控，但由于其依賴接觸的特性，在非接觸狀態(tài)下難以形成連續(xù)完整的空間感知。視覺感知雖可對(duì)環(huán)境狀態(tài)進(jìn)行整體估計(jì)，卻無(wú)法獲得直接的接觸反饋。這一局限性促使視觸融合機(jī)制成為關(guān)鍵發(fā)展方向，即通過(guò)結(jié)合視覺的態(tài)勢(shì)估計(jì)與觸覺的接觸信息，突破單一模態(tài)的感知約束，實(shí)現(xiàn)更接近人類的環(huán)境理解水平。此類跨模態(tài)融合將推動(dòng)具身智能的演進(jìn)，并借助自主閉環(huán)優(yōu)化，以實(shí)現(xiàn)具身系統(tǒng)物理交互能力的躍遷。

近日，廈門大學(xué)廖新勤團(tuán)隊(duì)提出了一種新型的織物基事件驅(qū)動(dòng)觸覺界面（FED觸覺界面）。通過(guò)巧妙利用織物固有的編織結(jié)構(gòu)并采用交叉纖維電極設(shè)計(jì)，該界面在實(shí)現(xiàn)超高壓力靈敏度的同時(shí)，保持了寬廣的檢測(cè)范圍。其獨(dú)特的事件驅(qū)動(dòng)特性，建立了適用于具身智能感知的“接觸事件?力學(xué)映射”范式。得益于防水與可水洗的特性，該界面拓展了具身系統(tǒng)在水下環(huán)境中進(jìn)行精細(xì)操作與探索的可能性。更為重要的是，受人類跨模態(tài)協(xié)同機(jī)制的啟發(fā)，該團(tuán)隊(duì)進(jìn)一步構(gòu)建了視觸融合架構(gòu)（VTF架構(gòu)），通過(guò)跨模態(tài)感知協(xié)同與決策級(jí)融合，開辟了自適應(yīng)優(yōu)化的新路徑。該仿生架構(gòu)實(shí)現(xiàn)了視覺路徑規(guī)劃與實(shí)時(shí)觸覺力校正之間的良好協(xié)調(diào)，突破了水下透明物體抓取等復(fù)雜環(huán)境中操作的局限性。并在對(duì)易混淆物體的識(shí)別中通過(guò)并行特征融合的方式實(shí)現(xiàn)了97.7%的準(zhǔn)確率，較單模態(tài)方法有顯著提升。通過(guò)視觸覺模態(tài)間的信息深度耦合，該研究在環(huán)境交互與認(rèn)知決策之間建立了連接，推動(dòng)了面向?qū)嶋H應(yīng)用的智能自適應(yīng)系統(tǒng)的發(fā)展，是機(jī)器人智能向前邁進(jìn)的重要一步。相關(guān)工作以“Bioinspired Cross-Modal Self-Adaptive Machine Intelligence for Event-Driven and Ultrahigh-Precision Underwater Grasping”發(fā)表在《Advanced Materials》（IF 26.8，一區(qū)TOP）上。

【VTF架構(gòu)的概念和說(shuō)明】

在人類與環(huán)境的交互中，視覺與觸覺感知各有其優(yōu)勢(shì)與局限。觸覺感知能通過(guò)直接接觸獲取物體的物理屬性并提供實(shí)時(shí)力反饋以輔助抓取操作，但受限于局部接觸信息，難以精確定位且缺乏預(yù)感知判斷，導(dǎo)致抓取效率受限。相比之下，視覺感知能有效獲取物體的形狀、顏色和空間位置，為交互提供初步評(píng)估與路徑規(guī)劃，但其易受光學(xué)條件影響，且無(wú)法直接感知物理屬性。受人類多感官協(xié)同啟發(fā)，研究團(tuán)隊(duì)設(shè)計(jì)了VTF架構(gòu)，通過(guò)跨模態(tài)整合實(shí)現(xiàn)閉環(huán)決策與動(dòng)態(tài)優(yōu)化，顯著提升了機(jī)器人系統(tǒng)的感知與交互性能?；谠摷軜?gòu)開發(fā)了視觸覺融合物品識(shí)別系統(tǒng)、自適應(yīng)抓取系統(tǒng)以及水下交互系統(tǒng)，以驗(yàn)證其在非結(jié)構(gòu)化動(dòng)態(tài)場(chǎng)景下的廣泛的適用性與巨大應(yīng)用潛力。

圖1 VTF架構(gòu)的概念和說(shuō)明

【 FED觸覺界面的設(shè)計(jì)原理與性能】

FED觸覺界面是VTF架構(gòu)的核心感知部件，器件由交叉纖維電極、織物導(dǎo)電層以及中空墊片以層對(duì)層堆疊組裝的形式構(gòu)成。該結(jié)構(gòu)利用交叉纖維電極的應(yīng)力集中效應(yīng)與織物編織結(jié)構(gòu)的接觸面積調(diào)節(jié)能力，實(shí)現(xiàn)了超過(guò)450 kPa的壓力檢測(cè)范圍以及246.3 kPa?1的最大檢測(cè)靈敏度。此外，F(xiàn)ED觸覺界面具備與人類皮膚相當(dāng)?shù)目焖夙憫?yīng)能力（<40 ms）與壓力檢測(cè)極限（<8 Pa），并在超過(guò)5,000次壓力循環(huán)測(cè)試后仍保持信號(hào)穩(wěn)定，克服了織物壓縮形變?nèi)毕?，展現(xiàn)出優(yōu)異的耐久性。得益于碳納米管/水基聚氨酯導(dǎo)電復(fù)合材料在織物表面的牢固附著，F(xiàn)ED觸覺界面具備可水洗性能，且在水下的壓力響應(yīng)能力與在空氣中基本一致，從而為水下環(huán)境中的觸覺反饋提供了可靠支持。在實(shí)際抓取應(yīng)用測(cè)試中，該柔性界面可貼合于機(jī)械夾爪表面，在多種抓握姿態(tài)下穩(wěn)定工作，并能通過(guò)檢測(cè)接觸區(qū)應(yīng)力分布的周期性波動(dòng)，實(shí)現(xiàn)對(duì)物體多向滑移的感知。

圖2 FED觸覺界面的設(shè)計(jì)原理與性能

【VTF自適應(yīng)抓取系統(tǒng)的構(gòu)建與應(yīng)用驗(yàn)證】

自適應(yīng)抓取是一種智能抓取技術(shù)，可根據(jù)目標(biāo)物體的特性動(dòng)態(tài)調(diào)整抓取策略和力度。然而，傳統(tǒng)抓取系統(tǒng)只限于機(jī)械化完成抓取控制，缺乏對(duì)不同物體的適應(yīng)性觸覺反饋，且存在無(wú)法預(yù)先感知物體特征與在非結(jié)構(gòu)化環(huán)境中定位困難的局限。為了解決上述問(wèn)題，研究團(tuán)隊(duì)開發(fā)了基于VTF架構(gòu)的自適應(yīng)抓取系統(tǒng)。VTF自適應(yīng)抓取系統(tǒng)通過(guò)視覺進(jìn)行抓取路徑規(guī)劃，并評(píng)估各類物體的抓取力閾值。同時(shí)，F(xiàn)ED觸覺界面負(fù)責(zé)在抓取過(guò)程中感知施加力大小、接觸界面滑動(dòng)和物體形狀變化，為系統(tǒng)提供實(shí)時(shí)觸覺反饋信號(hào)。在視覺識(shí)別和觸覺反饋的協(xié)同作用下，VTF自適應(yīng)抓取系統(tǒng)實(shí)現(xiàn)了對(duì)不同材料和尺寸物體無(wú)損壞、無(wú)滑動(dòng)的高效抓取。

圖3 VTF自適應(yīng)抓取系統(tǒng)的構(gòu)建與應(yīng)用驗(yàn)證

【基于VTF架構(gòu)的鋼琴演奏系統(tǒng)和水下抓取系統(tǒng)】

研究團(tuán)隊(duì)構(gòu)建了基于VTF架構(gòu)的機(jī)器人鋼琴演奏系統(tǒng)。該系統(tǒng)通過(guò)視覺識(shí)別樂(lè)譜并轉(zhuǎn)化為機(jī)械臂動(dòng)作，同時(shí)利用FED觸覺界面感知按鍵力度。虛擬鋼琴子系統(tǒng)根據(jù)彈奏力度，實(shí)時(shí)調(diào)整音量并以顏色梯度反饋力度大小，從而實(shí)現(xiàn)自主動(dòng)態(tài)力彈奏行為，反映出系統(tǒng)在視觸覺協(xié)同指導(dǎo)下接近人類的交互能力。在高度動(dòng)態(tài)的水下環(huán)境中，由于水的獨(dú)特光學(xué)特性，視覺定位面臨著重大挑戰(zhàn)。受人類在視覺受限場(chǎng)景下探索行為的啟發(fā)，本研究提出了觸覺輔助定位策略。借助FED觸覺界面優(yōu)異的水下傳感性能，以接觸信息補(bǔ)全視覺缺失的方式，有效克服了水下視覺的局限性，從而實(shí)現(xiàn)對(duì)非透明/透明水下物體的可靠抓取。

圖4 基于VTF架構(gòu)的鋼琴演奏系統(tǒng)和水下抓取系統(tǒng)

【基于VTF架構(gòu)的物品識(shí)別系統(tǒng)】

針對(duì)單一感知模態(tài)在物體識(shí)別中的局限性（如觸覺易混淆材質(zhì)相似物體、視覺易受外觀相似性干擾），本研究基于VTF架構(gòu)提出了并行特征融合物體識(shí)別策略。該策略分別通過(guò)視覺識(shí)別模型與觸覺卷積神經(jīng)網(wǎng)絡(luò)并行提取外觀描述性特征與柔軟度特征，有效避免了跨模態(tài)間識(shí)別干擾。該策略通過(guò)在決策層面對(duì)跨模態(tài)描述性特征進(jìn)行互補(bǔ)性整合，構(gòu)建了對(duì)識(shí)別對(duì)象的完整描述。對(duì)比單一視覺（73.6%）與單一觸覺識(shí)別（85.6%），實(shí)現(xiàn)了97.7%的識(shí)別準(zhǔn)確率。這為工業(yè)分揀、家庭服務(wù)等復(fù)雜場(chǎng)景下機(jī)器人的魯棒環(huán)境感知與精準(zhǔn)識(shí)別操作提供了解決方案。

圖5基于VTF架構(gòu)的物品識(shí)別系統(tǒng)

總結(jié)

在這項(xiàng)研究中，研究者們首先提出了一種基于織物的FED觸覺界面，采用交叉纖維電極與編織結(jié)構(gòu)，具備超高靈敏度、寬壓力范圍及優(yōu)于皮膚的檢測(cè)極限與響應(yīng)速度。其壓力/滑動(dòng)雙模檢測(cè)支持毫秒級(jí)反饋，可提升機(jī)器人對(duì)光滑、易碎物體的操作精度。通過(guò)復(fù)合導(dǎo)電材料在織物基底上的牢固粘附，F(xiàn)ED觸覺界面被賦予了優(yōu)異的水下使用性能以及可水洗特性，為水下抓取應(yīng)用提供了可靠硬件基礎(chǔ)。

為克服單模態(tài)感知的固有局限，研究團(tuán)隊(duì)受人類跨模態(tài)協(xié)同機(jī)制啟發(fā)，提出了VTF架構(gòu)。通過(guò)整合視覺與觸覺信息，該架構(gòu)在物品抓取、識(shí)別等任務(wù)中展現(xiàn)出卓越性能。尤其在面對(duì)視覺退化場(chǎng)景時(shí)，依托觸覺輔助定位，實(shí)現(xiàn)了對(duì)水下透明物體這類困難目標(biāo)的有效操作，凸顯了跨模態(tài)融合在實(shí)際環(huán)境中的魯棒性與適應(yīng)性。VTF架構(gòu)的提出，推動(dòng)了具身智能領(lǐng)域的發(fā)展，構(gòu)建了一種仿生式的跨模態(tài)感知交互新范式。為開發(fā)能夠應(yīng)對(duì)復(fù)雜動(dòng)態(tài)場(chǎng)景的下一代智能系統(tǒng)提供了關(guān)鍵技術(shù)路徑，具有重要理論價(jià)值與應(yīng)用前景。