近眼顯示技術專家卡爾·古塔格(Karl Guttag)正繼續分享自己的CES之旅。本次的分析對象是VoxelSensors。

　　VoxelSensors專注于研發旨在融合物理世界和數字世界的傳感器技術。這家公司的產品提供的解決方案主要應對互聯網新時代的3D感知挑戰，通過低功耗、低延遲和低復雜度的傳感技術來將物理和數字世界與新型3D感知解決方案相結合。

　　引言

　　我的CES 2023博文系列是從AR/MR的基礎技術開始，而不是實際產品，比如說Meta Materials的非偏振調光技術，Porotech的MicroLED顯示技術，以及Addoptics的3D可打印光學模具。本文討論了VoxelSensors及其全新的3D感知技術。

　　盡管我熟悉3D感知的基本概念，但我并沒有對其進行廣泛的研究。所以，我在術語方面可能會犯錯，并且沒有意識到用于AR和VR的特定方法。據我所知，VoxelSensors似乎比當前的3D感知方法有了重大進步。

　　為了幫助理解VoxelSensors方法的不同，本文結尾簡要介紹了常見的現有3D感知方法及其局限性。

　　Voxelsensors的Switching Pixels：一種新型“攝像頭”

　　據介紹，VoxelSensors專有的Switching Pixels是一種傳感器架構，設計用于基于激光束掃描的3D感知。它定位空間中的有源激光點或結構，而輸出則用于以100 MHz的速率生成3D點(體素)。

　　VoxelSensors的工作方式與眾所周知的“Event Camera”不同。但在團隊開發出專門的和性能更好的產品之前，他們將Event Camera用于開發算法。

　　因為VoxelSensors設計用于尋找掃描激光，所以它可以對激光非常敏感，同時拒絕所有其他光。由于激光和紅外輻射對眼睛的安全限制，在3D感知中，更好的傳感器靈敏度將轉化為更好的感知范圍和分辨率。

　　VoxelSensors的3D感知方法

　　VoxelSensors的3D感知方法從Lissajous掃描開始。盡管掃描不必是Lissajous掃描，但Lissajous可以快速掃描整個區域的空間圖像。如果在掃描過程中一切都是靜止的，分辨率會不斷提高。就概念而言，高分辨率感知是根據一系列最新的稀疏檢測建立。下圖說明了稀疏掃描過程是如何比普通的飛行時間攝像頭和LiDAR實現更快的檢測。請注意，它在任何時間點都會有更高分辨率的圖像。

　　比典型的LiDAR檢測速度快10倍以上

　　VoxelSensors的方法可以在不到1毫秒的時間內獲得整個視場的稀疏圖像。相比之下，典型的LiDAR方法可能需要16毫秒或更長時間，外加在檢測到任何東西之前所需的處理時間。

　　使用兩個VoxelSensors的輸出，通過簡單的三角測量來確定3D距離非常簡單，不需要復雜的圖像處理。與LiDAR不同，距離精度不是基于光速。所以，距離分辨率可以更高，并且不需要基于光速測量距離所需的校準程度。下圖概述了VoxelSensors的3D感知過程。

　　VoxelSensors制作了一段1分鐘的視頻來展示了他們的套件以及技術信息。他們使用了可見的紅色激光(而不是紅外)，這樣我們就能看到相關過程。

　　https://v.qq.com/x/page/m3501lgevfk.html

　　視頻中的設備又大又笨重，所以在整合至AR或VR頭顯方面尚有很長一段路要走。但這在早期演示中十分常見。

　　VoxelSensors正在努力實現小型化，而團隊于2022年12月宣布與生產Lissajous掃描儀的Oqmented合作。除了3D感知，Oqmented近幾年來一直在嘗試將他們的Lissajous掃描工藝用于制造激光掃描顯示器。

　　我曾經在博文中指出，Lissajous掃描激光束掃描顯示器沒有任何意義或競爭力。但在同一篇文章中，我認為Oqmented和使用Lissajous掃描的3D傳感將在3D傳感方面具有巨大意義。坦率地說，Oqmented應該專注于感知技術，并放棄顯示器應用。

　　背景：常見的AR/VR 3D感知方法

　　3D感知的基本目標是根據現實世界中的物理對象的水平(X)、垂直(Y)和深度(Z)來發展體素點云。VR/AR中使用的常見3D感知技術包括： 光學(可見光和紅外)追蹤：來自一個或多個攝像頭的圖像與圖像處理和結構假設(如手指與手的關系和手與手臂的關系)相結合，從而確定2D和3D位置。隨著時間的推移，使用多個攝像頭或多個幀可以從圖像中提取深度信息。 盡管這是獲得某種程度的3D感知的最常見和成本最低的方法，但分辨率和精度(特別是Z/深度)很低，需要大量的處理。 速度受到攝像頭幀速率和處理圖像時間的限制。任何深度感測都很慢，可能需要多幀才能構建。 結構光：投影一個或多個(通常為紅外)光圖案，然后由一個或更多個(通常是紅外)攝像頭捕獲。接下來，處理結構光圖案的失真以提取3D信息。結構光最初因微軟Kinect而出名。2013年，蘋果收購了開發Kinect 3D感知技術的PrimeSense，并隨后開始在iPhone和iPad添加結構光3D感知(從iPhone X開始)。 結構光通常在理解Z/距離方面更好，并且需要更少的處理。但如果只有一個投影儀和攝像頭(例如iPhone X)，有時需要移動投影儀和攝像頭才能獲得精度。 LiDAR(使用一個飛行時間傳感器進行掃描)：它的工作原理是發出一束IR光，通常是激光，并測量光返回一個或幾個傳感器所需的時間，其中距離根據光速計算。沿X和Y掃描一個或多個脈沖光束以確定X和Y。X和Y位置通過與掃描處理同步來確定，Z/距離通過脈沖光源返回所需的光速來確定。光束可以通過多種方式進行掃描，包括MEMS掃描鏡和振動衍射光柵。 一般來說，掃描過程相對較慢(慢于1/60秒)。 Z/距離精度受到精確發光、感知和測量光速(約30厘米/納秒)的能力限制。 由于為了眼睛安全而必須限制典型的紅外激光輸出，距離、速度、分辨率以及傳感器的靈敏度和拒絕噪點的能力都變得相互關聯。 英特爾的MEMS反射鏡LiDAR(即將停產)規格為這一方案提供了功能和權衡的參考，其幀速率約為1/30秒，分辨率隨距離而變化。有趣的是，英特爾LiDAR原計劃用于MetaQuestPro。 固態飛行時間攝像頭(ToF)/激光雷達(LiDAR)：不是掃描窄(激光)光束，而是用單個寬光束或激光通過衍射光柵等發出較小光束陣列。一個帶有小型X-Y陣列傳感器的飛行時間攝像頭用于測量時間，從而測量距離。固態LiDAR經常出現在手機、VR和AR系統中。 在任何給定的情況下，分辨率都限于ToF攝像頭的分辨率(通過結合運動信息，可以隨著時間的推移建立更高的分辨率)。 單個傳感器通常需要更多的光子來感測，這意味著系統需要更多的時間。 時間測量的準確性 AR/VR中的速度通常很慢。例如，Hololens 2可能需要一秒鐘的時間來確定遠距離。

　　下表是VoxelSensors進行的比較：

　　結論/總結

　　我認為VoxelSensors相對于現有3D感知方法的主要突出功能包括： 更快的運動初始檢測(約1毫秒，而其他通常為16-33毫秒) 用于深度計算的簡單三角測量 vs 光速測量或大規模立體圖像處理，其在計算精度和速度(以及功率)方面具有優勢。 高靈敏度的Switching Pixels實現更高的幀速率、更長的距離和更好地利用眼睛安全的激光。

　　當然，我們需要繼續耐心等待VoxelSensors系統將如何小型化，以及Switching Pixels的生產成本。我認為VoxelSensors最終將在尺寸和成本方面與飛行時間攝像頭競爭，但同時提供上述優勢。