最近腦機接口的產品研發(fā)開始了，前段時間我就分享過我們團隊的第二個空間應用APP正式上線了。

在空間計算應用上，我們可能是第一批的空間研發(fā)團隊，其中在醫(yī)療行業(yè)上線的2個APP，已經得到了下載，目前也在不斷的迭代更新。

在腦機接口的開發(fā)商，由于vision OS的數據隱私性，并沒有開放眼球追蹤數據，所以我們團隊計劃使用安卓XR來完成BCI的集成。

正在我們打算all in AndroidXR的時候，上周我的團隊收到了蘋果的小伙伴給的最新vision OS接口信息。

他們上線了BCI的接口，現(xiàn)在vision OS26 以及iOS、IPADOS，也就是說IPAD、iPhone等都可以接入腦機接口了。

注意的是非植入式腦機接口，允許將非植入式腦機接口類似鼠標、鍵盤一樣接入進去，允許開發(fā)者將其關聯(lián)，并且目前在BCI接口里開放了5個內容，分別通過輔助功能接入、以及蘋果設備系統(tǒng)數據輸出，并且使用的是HID聲明，開發(fā)者可以將腦機接口設備開發(fā)成為不需要驅動的、SDK、直接授權的外接硬件。

腦機接口BCI官方接口支持的交互組件與交互形式

目前官方接口通過輔助功能入口，支持界面UI掃描輪訓、按鈕點擊、下拉選擇的鼠標滑動、以及收集vision Pro的系統(tǒng)數據反饋給BCI。

五個能力的HID 解讀

本次一共有5個接口ID，分別是ID1-ID5，我們依次講解下，并且在產品設計上腦機接口產品經理可以做什么場景的開發(fā)。

HID 描述符定義了 BCI 硬件設備可以輸入和輸出的內容。它定義了以下輸入和輸出報告：

• 報告 ID 1：BCI 輸入信號報告

• 報告 ID 2：BCI 輸入按鈕報告

• 報告 ID 3：BCI 輸入指針報告

• 報告 ID 4：BCI 輸入項目選擇報告

• 報告 ID 4：BCI 輸出掃描信息報告

1.BCI輸入信號報告

這個報告提供了 BCI 硬件設備所采集神經信號的可解釋性與保真度的實時數據。
這些信息有助于主機計算設備通過可視化指示為用戶提供即時反饋。

當主機計算設備接收到“信號質量”消息時，它可以在界面中將該信息展示出來。
例如，在 iOS 中，當Switch Control光標聚焦在某個元素上時，系統(tǒng)會通過動畫疊加層來可視化顯示這一信息。

2.BCI 輸入按鈕報告

該報告允許 BCI 硬件設備模擬按鈕的按下與釋放。這些按鈕事件既可以用于發(fā)送基礎系統(tǒng)輸入（例如導航操作或執(zhí)行選擇），也可以用于觸發(fā)與主機操作系統(tǒng)相關的高級系統(tǒng)操作。

主機計算設備可以將這些按鈕事件映射到輔助功能特性（例如 Switch Control），或者映射為各種操作，例如：

• 將當前元素標記為已選擇

• 導航到下一個元素

• 導航到上一個元素

• 或執(zhí)行其他自定義命令

報告 ID 3：BCI 輸入指針報告

該報告的作用是充當屏幕上的光標，用于諸如Switch Control等功能。它可以是二維（2D）或三維（3D）指針。

vision pro設備可以利用這些信息來：

• 移動屏幕上的光標

• 在主機支持的情況下，以絕對坐標方式控制“點掃描器（point scanner）”

在 iOS、iPadOS 和 visionOS 中，Switch Control支持這種模式，并通過滑動光標（gliding cursor）來實現(xiàn)。
這使得 BCI 設備可以手動控制指針。

報告 ID 4：BCI 輸入項目選擇報告

該報告允許 BCI 硬件設備直接影響無障礙功能中的元素選擇（例如 Switch Control）。

通過發(fā)送一個特定的itemIndex（項目索引），BCI 硬件設備可以指示主機計算設備激活某一個特定的 UI 元素。

BCI 硬件設備可以通過觀察與“項目選擇”相關的輸出報告（output reports），來理解當前的 UI 上下文，從而判斷應該選擇哪一個項目。

報告 ID 4：BCI 輸出掃描信息報告

該報告允許主機計算設備（例如啟用了Switch Control的 iPhone）向 BCI 硬件設備提供反饋與上下文信息，說明當前基于時間間隔的順序導航過程的狀態(tài)，這種過程也被稱為開關掃描模式（switch scanning mode）。

BCI 硬件設備可以利用這些信息來：

• 理解當前掃描循環(huán)的上下文（例如：可選項目數量、控件類型）

• 通過BCI 輸入項目選擇報告（Report ID 4）來選擇項目

• 根據當前被聚焦的項目，動態(tài)調整自身行為

以上就是本次的5個接口報告，我們就可以構建vision Pro再BCI接口上的選中操作，從而讓用戶完成空間快捷操作。

如下是腦機接口的SSVEP范式

最后通過vision Pro的BCI接口，可以實現(xiàn)意圖識別，通過腦電選中具體的UI界面與元素，而不需要再單獨去讓腦電信號轉化為鼠標與鍵盤，從而得到意圖識別的信號。而在vision OS里面給了具體UI的對象名稱，不需要再轉化為鼠標與鍵盤，比如下面的各自元素，在vision OS系統(tǒng)里知道每個元素的序號，用戶只需要查看到每個元素，visionOS官方接口會將其選擇的按鈕元素對應的序號給到開發(fā)者，開發(fā)者再和腦機BCI信號匹配。

用戶想選什么對象元素，正確了，才會展示對應的元素

總結來說，這就是vision OS與安卓XR可以提供的能力，將其用戶意圖來完成系統(tǒng)化轉化。

傳統(tǒng)：射線/凝視點（X,Y） → 對準按鈕 → 點擊

現(xiàn)在：直接發(fā)送對應UI元素的 itemIndex = k

這對腦機接口產品經理是革命性的，在交互層面上更加體驗人類意念與數字世界的真實聯(lián)動，畢竟在真實世界里，我們也是看中那個按鈕再用肢體去選中。

一句話總結

過去是：

腦機接口在模仿手

現(xiàn)在是：

腦機接口在表達意圖

這就是革命性所在。

題圖來自 Unsplash ，基于 CC0 協(xié)議， 如有侵權，請聯(lián)系pmtalk123刪除

“分享產品經理改變世界的點滴”

產品顧問｜ 產品咨詢｜培訓合作

請?zhí)砑游⑿?strong>PMxiaowanzi

最近我的原創(chuàng)

每日案例拆解庫，AI等產品打卡群

我創(chuàng)建的產品設計打卡社群，加入后365天，每天體驗一款APP。提升產品設計能力，同時有1300份體驗報告幫助你找到競品

在這里你可以隨時查詢到你想找的各類競品行業(yè)APP，無須自己親自下載就可以馬上得到APP的一手產品優(yōu)化、交互設計、功能描述信息。

從優(yōu)化&建議、商業(yè)模式、運營、功能描述、交互設計、產品定位至少6個維度，體驗一款應用。

平均1天1塊錢，掃碼購買即可加入

連續(xù)體驗48款應用，通過后原路退回

報名后添加星球助理

PMTalk123