虛擬頭顯的未來？腦機接口在AR/VR中的應用方式

2023-07-12 00:07:29

神經技術可能是下一個前沿領域，OpenBCI的Galea頭顯設備以及輔助控制方面的進步，將會為我們的生活打开新的大門。

幾周前，蘋果為我們展示了如今最高質量的混合現實設備——Vision Pro。它採用手指和眼睛控制界面，給人留下了深刻的印象。

然而，在它宣布發布幾個月前，我遇到了一件更讓人震驚的事情。我只需要把夾子夾在耳朵上，然後頭上戴着一圈帶有橡膠尖端傳感器的裝置，同時佩戴一個面罩就能夠通過虛擬現實看到自己的腦電波，並且只需微小地運動面部肌肉，就可以在虛擬環境中移動物體。這是我試用OpenBCI的Galea設備的體驗。

虛擬現實和增強現實的未來正在穩步發展，但我們投入的時間與精力還不夠。目前，該領域正在從使用物理控制器轉向手部和眼部追蹤技術。然而，更深層次、與神經技術相關的可能性也在等着我們去探索。

我甚至不知道如何描述我嘗試Galea頭顯的經歷，因為它是一個探索未來發展的平臺。而且，就我在神經技術方面的經驗來說，還只是處於初級階段。

OpenBCI是一家位於布魯克林的公司，專注於研發非侵入性腦-計算機接口技術的研究工具。他們將自己的感知系統應用於一款名為Galea的混合現實頭戴式耳機，並計劃在今年晚些時候推出。

在OpenBCI位於布魯克林的辦公室，我有機會嘗試了Galea的原型版本。我對於腦機接口在虛擬現實和增強現實中的應用方式非常好奇，同時也思考着與計算機交互的未來可能會帶來怎樣的變革。

01.適用於VR和AR的全新傳感器平臺

我曾經嘗試過一些簡化版的腦電圖（EEG）傳感器組合，用於特定的視覺任務。比如，NextMind讓我能夠通過集中注意力在特定區域觸發動作（NextMind去年被Snap收購）。這種體驗幾乎就像是用思維來進行鼠標點擊一樣。然而， OpenBCI的Galea則是一個完整混合了各種類型傳感器的設備：包括EEG、EMG、EDA、PPG和眼球追蹤，真可謂縮略詞大集合。

腦電圖（EEG）用於測量大腦信號的電活動。OpenBCI使用帶有橡膠頭的傳感器連接頭皮，類似於我在2021年試用過的NextMind硬件。這些電極在幹燥的情況下工作良好，但需要避免太多的頭發以確保良好的信號接收。

肌電圖（EMG）用於測量神經和肌肉的電活動。在Galea頭戴式耳機上，這些傳感器圍繞在面罩上，覆蓋額頭、眼睛和臉頰部位。當我微微活動面部肌肉時，傳感器會進行讀數。但與Quest Pro等虛擬現實頭顯上的面部攝像機通過檢測特定的物理動作不同，這裏的讀數完全基於電信號。

理論上，你甚至可以做出非常微小的運動，更像是簡單的神經衝動。Meta公司也正在开發適用於未來頭戴式設備的肌電圖技術手環，但該手環僅通過手腕測量手指和手的運動，而OpenBCI的傳感器則專注於面部區域。

皮膚電活動（EDA），即皮膚汗液的電測量，通常用於檢測出汗情況。例如，Fitbit將自己的EDA傳感器集成到Fitbit Sense智能手表中，用於測量壓力水平。OpenBCI的EDA傳感器位於頭戴式耳機的前額部分。

光電容積描記法（PPG）是一種光學心率感應技術，類似於大多數智能手表上已有的功能。在最終的Galea頭戴式耳機上，PPG也是在額頭上進行測量。但在我的演示中，我佩戴了耳夾以進行PPG測量。

這個傳感器陣列與現有的虛擬現實和增強現實頭戴式設備Varjo XR-3（或更低成本的Varjo Aero）結合，並通過連接到計算機來運行軟件和分析數據。

Varjo的高分辨率顯示和透視視頻混合現實功能為OpenBCI的傳感器在虛擬現實和增強現實場景中提供了許多軟件可能性。但OpenBCI的傳感器陣列可以獨立於虛擬現實頭顯工作，也可以與其他設備連接使用。

蘋果的Vision Pro也可能成為OpenBCI的理想平臺，因為它具備強大的處理能力和獨立功能。根據OpenBCI的首席執行官兼聯合創始人Conor Russomanno的觀點，开發類似於Vision Pro或未來的增強現實和虛擬現實平臺是完全可行的。他將蘋果最近的動態視為對計算機領域混合現實的重要關注，這與OpenBCI對於這一機遇的看法不謀而合。

02.感知陣列可輔助多個功能

OpenBCI的感知陣列可以同時追求多個目標。它不僅僅關注於一個特定目標，而是通過系統的傳感器促進研究，並為與計算機的交互打开新的可能性。

最近，OpenBCI與患有脊髓性肌萎縮症的黑客Christian Beyerlein合作，他利用OpenBCI的感知陣列通過面部肌肉脈衝控制了一架無人機。這次在TED演講中的演示展示了腦機接口如何為輔助功能和對虛擬現實技術的控制打开新的途徑。

我的演示包括一個基於肌電圖（EMG）控制的遊戲，名為《貓咪奔跑者》（Cat Runner）。我通過微小的面部肌肉運動將卡通角色左右移動，這些運動被Galea面罩中的EMG傳感器所識別。

這款遊戲與Meta一直在使用的神經輸入手環技術演示相似，我去年秋季在Meta的雷德蒙德現實實驗室總部見到過。然而，Meta關注手腕上的運動感知，而OpenBCI的Russomanno認為將傳感器放在頭部會有更好的機會，因為這樣不會幹擾現有基於攝像頭的手部跟蹤工作。

肌電圖（EMG）技術旨在感知微弱的電信號，以至於幾乎沒有肌肉運動。然而，傳感器、算法和人體輸入之間的這種關系需要一些時間來精細調試。OpenBCI的多種類型傳感器可以提供大量數據，這些數據可以指示未來的研究方向或新的接口。

它們還可以提供有關使用虛擬現實（VR）和增強現實（AR）對大腦或注意力的影響的反饋。此前已經進行過使用VR頭顯上的傳感器研究認知過程的嘗試，其中包括具有心率傳感器的HP Omnicept，或者支持眼動追蹤的頭顯。

另一個基於腦電圖（EEG）傳感器的演示是創建了一個冥想的“共感房間”，在這個房間中，我的不同腦波狀態轉化為周圍環境燈光的不同顏色。我的腦波似乎改變了我所看到的顏色。於是我开始嘗試通過特定的注意方式來呈現出不同的顏色。

這似乎是有效的嗎？OpenBCI許多傳感器的關鍵功能，最終它們可以被用來訓練和改善我們通過自身的神經脈衝來控制事物的能力。

Russomanno認為Beyerlain利用肌電圖控制無人機，通過將系統擴展到他自己的大腦和身體功能上，展示了神經反饋將如何改變我們與計算機的交互方式，就像人工智能一樣。"這並不是說人工智能沒有用處，只是它並非唯一的解決方案，也不是能夠改變世界的唯一聖杯。"

Russomanno表示，“實際上，我們還看重神經反饋、極其智能的用戶界面和設計，這些優化反饋循環的其他方向。利用技術讓計算機更好地教導人類是我們即將經歷的另一個令人激動的革命。”

這讓我想起智能手表技術的發展軌跡，光學心率傳感器逐漸打开了數據流，隨後手表上出現了新的健康功能。Fitbit在其Sense手表上添加了多個新的傳感器，其中還包括EDA壓力傳感器。

Russomanno確信OpenBCI的Galea以及類似的努力將开啓通往未來可穿戴傳感器的全新道路，使其與我們所看、所聽和我們的雙手互動的事物建立接口連接。他認為更好的獨立虛擬現實（VR）和增強現實（AR）頭顯的到來，包括蘋果的頭顯，將打开通往新輸入和外圍設備的途徑。“直到這些頭顯問世並且人們开始構建雙向應用程序，我們才能真正知道。”

Russomanno在我們演示幾個月後通過視頻聊天對我說："在這些頭顯問世之前，我們還無法知道人們开始構建雙向應用。"Russomanno指的是即將推出的更先進的增強現實和混合現實設備。“ AR頭顯的炫酷之處在於它擁有你想了解有關本地環境的任何外部世界傳感器。而我們所做的是內部世界。當將這兩個數據集結合在一起時，我們仍然不知道會有什么可能性。”

盡管Russomanno將神經反饋與人工智能進行了比較，但我也認為二者是相互關聯的。人工智能需要數據集才能發揮其魔力；未來的感知技術系統也是如此。隨着神經技術的發展，人工智能與之共同進化的可能性也在不斷增加。