Apple Vision Pro 允许用户通过简单的手势来控制visionOS 或与之交互。然而，有时可能需要额外的“控制器”来控制 Apple TV 内容、视频游戏、演示或处理图表文档，因此可以使用手指设备来操纵数据。昨天，美国专利商标局公布了 Apple 的一项专利申请，该专利申请涉及在 Vision Pro 工作区中的虚拟触控板上使用手指设备。
肢体追踪器为 Vision Pro 生成虚拟触控板
苹果的发明涵盖了一种方法，包括通过四肢跟踪器获取四肢跟踪数据。该方法包括在显示器上显示在空间上与物理表面相关联的触控板的计算机生成的表示。
物理表面在 Vision Pro 的显示屏中可见，并且内容操作区域与计算机生成的触控板表示分离。该方法包括基于肢体跟踪数据来识别触控板的计算机生成的表示内的第一位置。
该方法包括将第一位置映射到内容操纵区域内的对应位置。该方法包括在显示器上显示指示映射的指示符。该指示符可以与内容操纵区域内的对应位置重叠。
电子设备显示指示映射的指示符。例如，基于手指操纵数据，电子设备确定手指可佩戴设备正在悬停在计算机生成的轨迹板表示的中心上或接触该中心。因此，电子设备在内容操纵区域的中心显示指示符。在一些实现中，通过显示映射的指示，电子设备向用户提供表征与内容操纵区域接合的手指可佩戴设备的反馈。该反馈减少了电子设备从手指可佩戴设备接收的错误（例如，不期望的）输入的数量，从而减少了电子设备的资源利用率。
因此，Apple的专利中公开的各种实现方式使得用户能够有效地参与（例如，操纵）内容操纵区域内的内容。例如，当手指操纵数据指示手指可穿戴设备正在轨迹板的计算机生成的表示上画圆时，电子设备在内容操纵区域内显示该圆的对应表示。因此，与其他设备相比，电子设备在与内容操纵区域接合时提供更多的控制和准确性。
手指佩戴设备可以由用户的手指佩戴。在一些实施方式中，电子设备基于手指操纵数据以六个自由度(6DOF)来跟踪手指。因此，即使当物理对象遮挡手指可佩戴设备的一部分时，电子设备也继续从手指可佩戴设备接收手指操作数据。
以下是一系列 Apple 专利图，显示了将计算机生成的触控板映射到 Vision Pro 内的内容操作区域的电子设备的示例。
上述专利图中的电子设备对应于头戴式设备 (HMD)，其包括显示操作环境表示的集成显示器。
显示数据可以由XR环境来表征。例如，图像传感器获得表示物理表#302的部分和物理灯#304的图像数据，并且在显示器#312上显示的生成的显示数据显示物理表的部分和物理灯#304的相应表示。灯，
在一些实施方式中，电子设备(HMD)包括透视显示器。透视显示器允许来自物理环境的环境光穿过透视显示器，并且物理环境的表示是环境光的函数。例如，透视显示器是半透明显示器，例如具有光学透视功能的眼镜。在一些实施方式中，透视显示器是能够实现物理表面的光学透视的附加显示器，例如光学HMD（OHMD）。
物理表面（例如物理表#302）可以在显示器#312内查看，以及与触控板#324分离的内容操作区域#330。
例如，内容操控区域包括应用内容，例如网页浏览器内容、文字处理内容、绘图应用内容等（如下面在WWDC23主题演讲中所呈现的）基于来自手指可穿戴设备的手指操控数据#320，HMD确定触控板和内容操作区域之间的映射。
（点击图片可放大）
正如苹果公司上面介绍的，Apple Vision 用户可以使用虚拟键盘，今天的专利证实，通过手指设备，用户将能够使用虚拟触控板来操作 Vision Pro 中的内容。
译自：Patently Apple
English 
Chinese