VR头显透视技术助力MR发展

• 对MR应用而言，深度感知对于展示遮挡现象至关重要。VR VST目前通过摄像头实现，其质量只能说差强人意。然而，我们可以通过加入额外的ToF传感器来改善质量。

• 今后将有更多的VR头显配备VST，推动MR应用增长。

虚拟现实(VR)头显使用实时六自由度(DOF)和视觉同步定位与建图技术(SLAM)来接收现实世界的信息，如三维坐标和物体识别。该技术起初用于手部追踪和围栏系统。尽管如此，一些VR头显加入了单色相机的图像，并且出人意料地将视频透视(VST)能力扩展到混合现实(MR)当中。例如Meta推出了Quest Pro VR头显，而字节跳动搭载全彩摄像头的PICO4，均能够提高MR应用的拟真度。

当前VR头显中使用的透视技术被称为VST，而增强现实(AR)设备使用的透视技术则称为光学透视(OST)。VST技术将现实世界的数字化三维视图与电脑生成的现实模拟相融合，然后显示在不透明的显示器上。通过结合使用VST以及适当的渲染技术和算法，我们有可能实现虚拟和实际物体之间的互动和遮挡，并重建真实世界的数字三维模型。

与通过摄像头来实现透视功能的VR头显不同的是，AR设备出厂即具备透视能力。AR设备的OST功能可以将虚拟图像直接叠加在真实世界的视觉效果上。AR设备里的真实世界图像分辨率明显高于VR头显。然而，现有AR设备与真实环境的互动还相当有限，原因是遮挡的完美实现还需靠深度传感器。

VR VST的优势

VR VST技术允许用户通过实体键盘、鼠标、触摸板或控制器与环境互动，而不必摘下VR头显。该技术甚至能够在虚拟世界中创建昂贵物件，如多台显示器。展望未来，VR头显有望整合更多实验性AR和MR功能，从而极大丰富此类设备的生态系统和实用性。

VR VST目前面临的挑战

立体视觉和深度感知对于MR至关重要。配备飞行时间(ToF)传感器的VR头显今后将能够比配备相机的现有设备捕捉到更准确的距离信息。

VR头显的VST几乎无法实现双眼视觉。其中一个原因是，VR VST只有一个摄像头，因此难以测量近距离物体的距离。此外，视场物体仍然会有扭曲和变形。今后的算法必须对此进行改善，或者设计者需要避免让用户感知到位置较近的物品。此外，要提高对真实色彩的拟真度，还需要实现更多的颜色并配备白平衡传感器。

在VR的一项新应用中，VST技术可以通过创建几个虚拟显示器，将真实世界的数台显示器融入到虚拟世界。然而，目前VR头显中虚拟显示器的分辨率仍低于现实显示器。当然，该问题可以通过提高VR头显显示器的分辨率来解决，尽管会增加一些成本。

由于处理器需要对摄像头捕获的图像进行编码，因此延迟是VST VR头显的一个关键特征。未来中高端VR头显一般都会支持4K视频串流，所以处理器的速度和带宽将影响VR系统的性能。因此，VR头显SoC的要求应该比智能手机更高。

结论

VR头显的VST技术能够突破VR和AR的界限，令VR有望提供MR功能。除了游戏之外，MR还有众多其他应用。其可以用于学习平台，运动竞技，网络研讨会以及建立制造业的数字孪生。尽管VR VST仍有一些问题需要解决，但它能够降低MR应用的进入门槛，加快在用户与开发者之中的普并有助于VR头显VST技术的提升，从而创造更多MR应用。而这些MR应用将反过来推动AR硬件和生态系统的发展。毕竟，AR设备的某些优势并非VR设备所能效仿。