随着Meta Quest Pro、PICO 4、奇遇MIX等VR头戴显示设备的发布，视频透视VST（Video See-Through）发展到全彩阶段，也推动VR发展向MR。
全彩透视（Full-color seethrough）属于视频透视技术（Video-seethrough），即通过相机捕捉到实时画面， 将虚拟世界和真实世界合成后，呈现多种色彩的显示画面。值得注意的是，与AR设备显示的画面不同，全彩透视技术看到的现实世界，并非是通过人眼直接看到的真实世界，而是机器拍摄现实世界场景，经过系统处理之后投射在显示屏上的画面。
视频透视（VST）光学路径示意图
全彩透视的技术优势
VR最大的问题是视野遮挡，全彩透视解决了这个痛点问题，这也是VR之后拓展社交应用的重要路径。
扩大用户的活动场景——不再受限于狭小的安全区，用户可以自由地在房间内选择活动空间，甚至天花板也可以成为新“画板”。
将虚拟形象和物体引入现实场景，增强可玩性和沉浸感。
全彩透视实现的硬件方案
现有的VR设备上支持的多数为黑白透视，利用主机外部的空间摄像头以及一些简单的算法，就可以实现不错的透视效果。
黑白透视场景
尽管只是简单的“上色”一步，要做到全彩透视，背后需要考虑多个技术的融合。目前，全彩透视主要可以分为四步：透视、空间锚点（放置AR物体）、三维重建、环境理解及对象识别。
全彩透视场景
在硬件上，为保证视野范围，一般需要用到4颗摄像头：三颗光学摄像头，一颗TOF摄像头，包括广角、变频、彩色。
奇遇MIX在VR眼镜正面中间位置新增了两颗1600万像素的透视专⽤全彩摄像头，实现了全彩视频透视功能。
Meta Quest Pro采用2颗黑白摄像头+1颗彩⾊摄像头补⾊的方案。
PICO 4搭载4颗超广角环境追踪摄像头和一颗1600万像素的RGB摄像头实现全彩透视。
全彩透视技术供应商
联合光电、索尼、舜宇、欧菲光、歌尔等。
English 
Chinese