Facebook Reality Labs (FRL) 致力于許多旨在使與技術交互更平易近人的項目。FRL 正在研究的技術包括 VR 耳機和 AR 眼鏡。手部追蹤技術對虛擬現(xiàn)實尤為重要，讓該技術通過“隨你而來”的方式與人際互動更加身臨其境。

FRL 正在進行的工作旨在構建更自然的設備，并從 Touch 控制器開始。這些控制器設計為握持舒適，內部裝有大量傳感器。觸摸控制器提供了栩栩如生的手部存在感，并使基本的 VR 交互感覺更像真實的東西。

FRL 正在努力消除對手動控制器的需求，轉而感知裸手。該實驗室在五年前開始為 VR 進行手部跟蹤，當時沒有人提供消費級質量、無控制器的手部跟蹤功能。這意味著該技術必須從頭開始創(chuàng)建。

下面的視頻遵循開發(fā)過程，展示了導致最終產品的一些設備的原型。FRL 目前正在探索新的文本輸入實驗形式，這是提高生產力的一項常見且關鍵的任務。FRL 提出了一種新穎的方法，可以使用基于標記的手部跟蹤系統(tǒng)的手部動作在沒有鍵盤的任何平面上進行觸摸打字。該系統(tǒng)將動作直接輸入并解碼為用戶想要輸入的文本。

研究人員指出，該技術仍處于早期研究階段，但說明了手部追蹤在活動場景中的潛力。研究人員必須理解不穩(wěn)定的打字模式，并采用自動語音識別的統(tǒng)計解碼技術，使用運動模型來預測手部運動的擊鍵。使用這種方法，打字員平均每分鐘 73 個單詞，使用他們的手、平坦的表面和其他任何東西的未糾正錯誤率為 2.4%。與使用實際鍵盤相比，打字員使用新系統(tǒng)實現(xiàn)了相似的速度和準確性。