最近，在某些繁華城市的街頭，總能看到一些新奇的畫(huà)面：機(jī)器人身著衣服，與常人無(wú)異，行走在街上。它們有著看似人類的舉動(dòng)，但實(shí)際上，它們很難理解一些行動(dòng)背后所帶有的目的，尤其是這些動(dòng)作與交互息息相關(guān)。

這就是現(xiàn)代人機(jī)協(xié)作的根本瓶頸：機(jī)器人掌握視覺(jué)、感知和操作能力，卻缺少真正理解人的方法。針對(duì)這種情況，加州大學(xué)圣地亞哥分校（University of California San Diego）的一支團(tuán)隊(duì)給出了一種全新思路：用可穿戴多模態(tài)信號(hào) + AI 推理，實(shí)現(xiàn)可靠的現(xiàn)實(shí)環(huán)境中的手勢(shì)識(shí)別。

相關(guān)的研究?jī)?nèi)容以「A noise-tolerant human–machine interface based on deep learning-enhanced wearable sensors」為題，于 2025 年 11 月 17 日發(fā)布在《Nature Sensors》。

論文鏈接：https://www.nature.com/articles/s44460-025-00001-3

可穿戴設(shè)備的增強(qiáng)

可穿戴設(shè)備在生活中的許多地方都展現(xiàn)出前所未有的潛力。當(dāng)前的人機(jī)協(xié)作方式之所以不夠順暢，其根本原因在于機(jī)器人能夠接收到的有效信息太少。視覺(jué)系統(tǒng)可以看見(jiàn)手的移動(dòng)，卻無(wú)法區(qū)分動(dòng)作背后的語(yǔ)義；語(yǔ)音控制對(duì)于處理復(fù)雜任務(wù)幾乎無(wú)能為力；按鈕、界面和遠(yuǎn)程操控更是與自然動(dòng)作相距甚遠(yuǎn)。

更深層的問(wèn)題在于，機(jī)器對(duì)人的內(nèi)部狀態(tài)完全「不可見(jiàn)」。視覺(jué)系統(tǒng)看不到疲勞、看不到微小的肌肉變化、看不到用戶即將失穩(wěn)的趨勢(shì)，而這些恰恰是影響協(xié)作效率和安全的關(guān)鍵因素。信息不足導(dǎo)致誤解，誤解又進(jìn)一步降低協(xié)作效果。

為了打破這些限制，AI 的加入帶來(lái)了更廣闊的解決思路。相關(guān)研究團(tuán)隊(duì)的核心思想很簡(jiǎn)單：用 AI 捕獲環(huán)境信息與手勢(shì)信號(hào)并推理其中的信息，處理完后再發(fā)送給設(shè)備。

圖 1：抗噪聲人機(jī)界面概述。

他們所設(shè)計(jì)的深度學(xué)習(xí)增強(qiáng)型可穿戴傳感器，能夠在存在多種真實(shí)世界運(yùn)動(dòng)偽影的情況下準(zhǔn)確識(shí)別手勢(shì)。這包括一個(gè)六通道慣性測(cè)量單元（IMU）、一個(gè)肌電圖（EMG）模塊、一個(gè)藍(lán)牙微控制器單元和一個(gè)定制電池，全部安裝在織物基板上。

在信號(hào)采集層面，可穿戴設(shè)備不僅記錄動(dòng)作軌跡，還同步采集肌電、姿態(tài)、加速度等生理信息。這些信號(hào)是視覺(jué)看不到的，卻是人類動(dòng)作意圖最直接的映射。

圖 2：多通道采集手勢(shì)信號(hào)和運(yùn)動(dòng)偽影。

在推理層面，AI 模型成為整個(gè)系統(tǒng)的「大腦」。它將這些多模態(tài)信號(hào)融合，提取出「用戶接下來(lái)要做什么」「用戶此刻的目標(biāo)是什么」等深層語(yǔ)義。機(jī)器人可以根據(jù)這些推斷，提前規(guī)劃自己的動(dòng)作，包括跟隨、避讓、協(xié)助、減速或接管任務(wù)。

通過(guò)在復(fù)合數(shù)據(jù)訓(xùn)練集上進(jìn)行三種深度學(xué)習(xí)網(wǎng)絡(luò)的比較，與實(shí)驗(yàn)后進(jìn)一步驗(yàn)證模型在未預(yù)訓(xùn)練的真實(shí)世界中會(huì)有怎樣的表現(xiàn)，團(tuán)隊(duì)所采用的模型在所有條件下的識(shí)別準(zhǔn)確率均保持高度穩(wěn)定（>94%），應(yīng)用基于參數(shù)的遷移學(xué)習(xí)也進(jìn)一步增強(qiáng)了模型的泛化能力。后者將所有 19 種手勢(shì)的最小識(shí)別準(zhǔn)確率從 >51% 提高到 >92%。

圖 3：基于深度學(xué)習(xí)和遷移學(xué)習(xí)的手勢(shì)分類。

最終，在執(zhí)行層面，這套系統(tǒng)讓機(jī)器人具備了「共享智能」。它可以在用戶剛準(zhǔn)備發(fā)力時(shí)就開(kāi)始提供支撐；在用戶逐漸疲勞時(shí)主動(dòng)接管負(fù)載。

協(xié)作更快、更穩(wěn)

團(tuán)隊(duì)在多種實(shí)際任務(wù)中測(cè)試了該框架，包括協(xié)作搬運(yùn)、精細(xì)裝配、共同移動(dòng)負(fù)載等，結(jié)果一致表明，系統(tǒng)顯著提升了協(xié)作效率和整體自然度。即使是存在大量偽影的情況下，團(tuán)隊(duì)依然實(shí)現(xiàn)了相當(dāng)?shù)氖謩?shì)識(shí)別性能：手勢(shì)與機(jī)械臂動(dòng)作之間的延遲約為 1.3 秒。

當(dāng)配備在復(fù)合數(shù)據(jù)集上訓(xùn)練的 CNN 時(shí)，即使受試人員處在跑動(dòng)中，機(jī)械臂也能夠精確執(zhí)行預(yù)期動(dòng)作。這種穩(wěn)定也擴(kuò)展到了試管溶液轉(zhuǎn)移、高頻振動(dòng)、方向變化等組合中。

圖 4：抗噪聲人機(jī)界面的水生應(yīng)用。

通過(guò)大量采集海洋波浪的數(shù)據(jù)，生成的模擬潛水員在疊加模擬海浪干擾的 IMU 信號(hào)上進(jìn)行測(cè)試時(shí)，召回率、精確率、特異性和 F1 分?jǐn)?shù)均接近~1。

更廣泛的影響

團(tuán)隊(duì)意識(shí)到，運(yùn)動(dòng)干擾并非僅限于水下環(huán)境。這是可穿戴技術(shù)領(lǐng)域普遍面臨的挑戰(zhàn)，長(zhǎng)期以來(lái)限制了此類系統(tǒng)在日常生活中的表現(xiàn)。

即使這項(xiàng)技術(shù)仍有更大的優(yōu)化空間（比如減少延遲與簡(jiǎn)化的識(shí)別任務(wù)），但它仍然是一種全新的可穿戴傳感器的可靠抗噪方法。它能為下一代可拉伸的無(wú)線穿戴設(shè)備指引了方向。