FlexiRay與人手感知模態(tài)對比及應(yīng)用場景示意圖

在軟體機器人交互領(lǐng)域，長期存在著一對核心矛盾：結(jié)構(gòu)柔順性與感知精確性難以兼顧。傳統(tǒng)視觸覺傳感器（VTS）雖能提供高分辨率反饋，但往往依賴剛性結(jié)構(gòu)以維持光路穩(wěn)定，犧牲了軟體抓手本質(zhì)的柔順適應(yīng)能力；而現(xiàn)有的柔性傳感器設(shè)計，在大變形下又面臨視野遮擋和感知盲區(qū)的難題。

浙江大學(xué)Grasp Lab研發(fā)的視觸覺一體化軟體夾爪FlexiRay，以“光學(xué)系統(tǒng)-柔性結(jié)構(gòu)-AI感知”的深度融合為核心路徑，創(chuàng)新性地結(jié)合了仿生Fin Ray效應(yīng)與多反射鏡光學(xué)陣列，成功復(fù)現(xiàn)了人手的五大核心觸覺模態(tài)。FlexiRay不僅保留了軟體抓手的大變形自適應(yīng)能力，更在劇烈形變下實現(xiàn)了超過87%的有效感知覆蓋率，為軟體機器人的智能化交互開辟了“全域感知、柔順操作”的新賽道。

FlexiRay柔順抓取的紋理效果及感知覆蓋示意圖

▍結(jié)構(gòu)與光學(xué)革新：化“遮擋”為“視窗”，重構(gòu)柔性感知視野

機械結(jié)構(gòu)與光學(xué)系統(tǒng)的協(xié)同設(shè)計是FlexiRay的硬件基石。Grasp Lab團隊突破了“限制形變以保視覺”的傳統(tǒng)思路，轉(zhuǎn)而利用形變，通過系統(tǒng)級優(yōu)化解決了軟體抓手大變形導(dǎo)致的視覺遮擋難題。

• 視觸光路布局優(yōu)化：針對Fin Ray結(jié)構(gòu)在抓取時的非線性變形特性，團隊通過構(gòu)筑分段式多反射鏡陣列，巧妙實施被動式光路補償，將傳統(tǒng)軟體結(jié)構(gòu)的大變形遮擋劣勢這一“物理約束”，逆轉(zhuǎn)為拓展全域感知視角的“設(shè)計增益”。
• 全覆蓋動態(tài)感知：這種“單相機+多反射鏡”的構(gòu)型，使得FlexiRay在抓取過程中，無論手指如何彎曲變形，都能通過直射和反射光路的互補，實現(xiàn)對接觸區(qū)域的連續(xù)監(jiān)測。實驗表明，即便在極端形變下，其有效感知覆蓋率仍穩(wěn)定在87.2%以上，徹底解決了柔性VTS的“視野盲區(qū)”痛點。

FlexiRay結(jié)構(gòu)及光路優(yōu)化原理示意圖

▍多模態(tài)感智融合：單目視覺解耦五感，復(fù)刻“類人”觸覺

依托于獨特的硬件設(shè)計，F(xiàn)lexiRay結(jié)合深度學(xué)習(xí)算法，打破了單一模態(tài)感知的局限，僅憑一顆內(nèi)置攝像頭即可解耦并復(fù)現(xiàn)人手的五種關(guān)鍵觸覺：力覺、接觸位置、紋理、溫度和本體感覺。

• 高精度力與位姿感知：通過解耦的神經(jīng)網(wǎng)絡(luò)架構(gòu)，F(xiàn)lexiRay實現(xiàn)了0.17 N的法向力估計精度和0.96 mm的接觸定位精度。同時，基于視覺的本體感覺模型能實時重構(gòu)手指的空間形變，定位誤差僅0.24 mm，實現(xiàn)了“手眼合一”。
• 兼具溫度與紋理感知：在傳感層材料設(shè)計上，融合熱敏變色材料與鋁粉反射層，使夾爪具備了1.17°C精度的溫度感知能力和精細(xì)的紋理識別能力。這使得機器人不僅能“摸”出物體的軟硬形狀，還能“看”出物體的冷熱，并在物體分類的測試任務(wù)中達到了96.7%的準(zhǔn)確率。

FlexiRay多模態(tài)感知神經(jīng)網(wǎng)絡(luò)架構(gòu)及精度可視化結(jié)果

▍交互與操作規(guī)劃：從精細(xì)抓取到智能遙操，AI-機械協(xié)同決策

基于優(yōu)越的柔順性與全覆蓋的多模態(tài)感知，F(xiàn)lexiRay構(gòu)建了高安全性的交互與操作體系，在非結(jié)構(gòu)化場景中展現(xiàn)出極強的魯棒性。

• 柔順抓取與安全交互：得益于Fin Ray結(jié)構(gòu)的被動適應(yīng)性與高靈敏度力控，F(xiàn)lexiRay能安全抓取薯片、蛋糕、生雞蛋等極易碎物體。在人機交互中，它甚至能感知羽毛接觸的微小力，并做出順應(yīng)式的安全閃避動作，實現(xiàn)了真正的“人機共融”。
• 增強現(xiàn)實感知的智能遙操作：在復(fù)雜的泡茶演示任務(wù)中，F(xiàn)lexiRay為操作者提供了包含力、位、形變及溫度在內(nèi)的全方位反饋。即便在視覺遮擋的情況下，操作者也能憑借觸覺反饋完成盲操作（如調(diào)整茶盤姿態(tài)），并通過溫度感知準(zhǔn)確辨別水溫，展示了其在遠(yuǎn)程醫(yī)療、危險處置等領(lǐng)域的巨大應(yīng)用潛力。

FlexiRay精準(zhǔn)力控抓取與人機交互實驗

FlexiRay多模態(tài)長序列遙操作泡茶測試

▍核心價值與未來展望

FlexiRay的核心突破在于“化形變干擾為感知增益”的柔性視觸傳感設(shè)計：既保留了軟體機器人本質(zhì)的安全與適應(yīng)性，又補齊了高精度、多模態(tài)感知的短板，為軟體機器人的感知系統(tǒng)設(shè)計提供了全新的范式。在應(yīng)用層面，F(xiàn)lexiRay低成本、易制造且高耐用（超40,000次循環(huán)測試）的特性，使其具備極高的商業(yè)化潛力。從精細(xì)的農(nóng)業(yè)采摘、安全的家庭服務(wù)機器人，到復(fù)雜的工業(yè)柔性裝配，F(xiàn)lexiRay正推動機器人手從“執(zhí)行末端”向“智能感知終端”進化。未來，Grasp Lab將繼續(xù)探索變剛度結(jié)構(gòu)與更高級感知材料的融合，賦予機器人更接近人類的觸覺智能。

▍機器人抓取實驗室（Grasp Lab/GL）介紹

機器人抓取實驗室（Grasp Lab）是浙江大學(xué)機械工程學(xué)院聚焦于機器人抓取的核心課題組，定位為“感知-推理-操作”全鏈條技術(shù)突破與工程化落地的創(chuàng)新平臺。實驗室以解決機器人在復(fù)雜真實場景下的高效環(huán)境理解、抓取軌跡智能推理及高可靠物理交互這一核心挑戰(zhàn)性問題為目標(biāo)，致力于構(gòu)建面向家庭服務(wù)、超市物流、倉儲分揀及工業(yè)制造等多場景的魯棒操作優(yōu)化系統(tǒng)，為智能機器人實現(xiàn)通用化、靈巧化抓取與操作提供高性能解決方案。

研究團隊通過數(shù)學(xué)建模、靈巧手設(shè)計與控制、視覺感知融合及機器人自監(jiān)督學(xué)習(xí)等前沿技術(shù)路徑開展研究，已在國際機器人領(lǐng)域頂級期刊和會議上發(fā)表一系列高質(zhì)量成果，包括IJRR、T-RO、NC、RSS等權(quán)威期刊與頂級會議

本文完全由GraspLab獨立研究并撰寫而成，第一作者王彥哲、郭昊天、吳浩（三者共一），通訊作者為實驗室負(fù)責(zé)人董會旭。董會旭博士是浙江大學(xué)機械工程學(xué)院“新百人計劃”研究員、博士生導(dǎo)師，入選國家高層次青年人才計劃（“海外優(yōu)青”），長期深耕機器人感知與抓取領(lǐng)域，為實驗室的學(xué)術(shù)研究與團隊建設(shè)奠定了堅實的學(xué)科基礎(chǔ)和國際視野。