近日，美国专利商标局正式公布了 Apple 与 Vision Pro 相关的六项专利申请，涵盖空间感知相机调整、3D 环境中的深度冲突缓解、注视跟踪器等。
在今天介绍的主要专利申请中，苹果公司指出，头戴式设备等电子设备可能具有传感器。例如，头戴式设备可以具有用于捕获头戴式设备周围环境的图像的相机。相机可以在自动曝光模式下运行，根据捕获图像中的当前光照水平自动调整相机的曝光设置。
头戴式设备可以安装在用户的头上。当用户转动头部时，图像的照明级别会快速变化。考虑这样一个场景：用户最初面对光线昏暗的桌子，然后转向明亮的阳光照射的窗户。当检测到阳光照射的窗户的照明水平变得更亮时，相机可以自动调整相机的曝光设置以补偿亮度的变化。然而，用户转动头部和相机曝光调整发生之间可能存在一些时间延迟。这种时滞以及闪烁会导致用户视觉不适。苹果的专利弥补了这一点。
具有空间感知相机调整功能的头戴式设备
显示器可用于向用户呈现视觉内容。相机可用于捕捉可见光和红外图像。例如，相机可用于向用户提供实时直通视频、跟踪手势和其他身体运动、以及跟踪头戴式设备相对于头戴式设备周围环境的移动。
向用户提供实时直通视频的摄像头有时被称为主摄像头或直通摄像头。用于跟踪身体部位的运动或头戴式设备相对于环境的运动的摄像机可以被称为辅助（补充）摄像机或跟踪摄像机。
头戴式设备可以在现实环境中在用户的头部上操作。现实世界的环境可能具有不同照明特性的区域。例如，当头戴式设备面向被白炽灯昏暗照亮的环境的第一区域时，可以使用适合于具有第一照明特性的第一区域的第一相机设置来操作直通相机。
当头戴式设备面向被日光明亮照亮的环境的第二区域时，可以使用适合于具有第二照明特性的第二区域的第二相机设置来操作直通相机。
使用主摄像头和/或其他辅助摄像头捕获的图像可用于构建真实世界环境的照明特性的空间（3维）图。当用户环顾3维环境时，可以使用头戴式设备内的一个或多个摄像机随时间收集该空间图（例如，以基于历史数据构建环境的持久照明模型）。
辅助（跟踪）摄像机和任何 6 DoF（自由度）跟踪系统（例如，可用于监控旋转运动（如滚动、俯仰和偏航）以及 X、Y 和 Z 轴上的位置运动的跟踪系统在 3D 环境中）可用于确定用户当前的头部姿势，从而确定主摄像头当前指向或将指向的位置。
这些位置跟踪系统可以包括惯性测量单元、同时定位和建图（SLAM）单元、飞行时间测量单元、立体相机和其他运动传感器。为了确保从第一相机设置到第二相机设置的调整之间的延迟（滞后）最小，可以使用有关相机在 3D 环境中指向何处的信息以及有关环境中的照明水平和照明特性的信息来获取控制信号用于调整主摄像头的曝光设置、主摄像头的色彩平衡设置、主摄像头的色调曲线映射设置和/或对主摄像头的其他调整。
关于环境中的照明水平和照明特性的信息可以随时间收集（例如，基于历史数据构建照明模型），或者可以使用辅助摄像机、一个或多个环境光传感器、闪烁来实时确定传感器和/或其他光学传感器，其可以具有比主直通相机更宽的视场，并且因此可以用于检测主直通相机的视场之外的照明特性。
以这种方式主动调整相机设置可以帮助最小化相机设置调整中的延迟，并且还可以减少当用户观看具有不同照明特性的环境的不同区域时的闪烁，从而可以帮助减少用户的视觉不适。
苹果的专利图。下面的图 3 是头戴式设备 #10（例如 Vision Pro）的示意性配置的横截面侧视图，其中该设备包括用于监控耳机周围环境的不同类型的传感器。
Vision Pro 还可能包括可用于跟踪外部物体的位置和运动的其他相机。作为示例，跟踪相机可以跟踪用户的手或用户的躯干或其他身体部位。手势输入控制 Vision Pro 的操作。身体部位监控可用于允许用户的身体运动被虚拟环境中显示的内容复制。
如果需要，Vision Pro 还可以包括用于跟踪外部配件位置的摄像头（例如，用户移动以控制耳机各方面的控制器的位置和移动。在某些情况下，视觉惯性里程计 (VIO ）确定 Vision Pro 相对于环境的位置、移动和/或方向的系统或其他系统。相机可以执行专用功能（跟踪、视觉惯性里程计功能、场景捕捉、测距、用于面部识别的三维图像捕捉）和环境映射等）或者这些操作中的两个或更多个可以由共享相机来执行。
苹果的专利图。上面的图 5 是显示 Vision Pro 内用于调整直通相机 #50 的一个或多个图像设置的不同硬件和/或软件组件的框图。
译自：patentlyapple
Chinese 
English