某些 Apple 工程团队似乎正在开发新型 Apple Pencil，可以与当前或未来版本的 Apple Vision Pro 配合使用。1月 11日，发布了一篇题为“苹果发明了一种新型手控器，旨在与 HMD 配合使用……”的报道。昨天，美国专利商标局正式授予苹果一项专利，该专利涉及可能的新款或升级版苹果Pencil 专门设计用于与 Apple Vision Pro 等 HMD 配合使用。它可用于游戏、训练模拟等。借助手写笔上的摄像头，用户可以使用 Apple Vision Pro 或其他 HMD 查看周围 3D 对象等。
用于头戴式设备的基于手写笔的输入系统
头戴式设备对于各种应用来说都是一项极具吸引力的技术，可用于提供沉浸式交互式计算机生成现实 (CGR)。例如，头戴式设备可用于提供 VR 或 MR 环境，这些环境响应用户在三维空间中的移动，用于游戏、视频娱乐和训练模拟等目的。头戴式设备可以配备传感器或运动跟踪技术来跟踪用户头部的运动，并在头戴式设备的输出中生成适当的响应（例如，音频、图形等）。
具有跟踪或响应用户或环境的其他运动能力的系统可以为用户体验提供更大的沉浸感和新的可能性。例如，跟踪用户手或其他物理对象的自由空间运动的能力可以允许在 CGR 环境中对对象进行三维操作。另外或组合地，希望向用户提供额外的工具，用户可以利用这些工具在佩戴头戴式设备的同时观察物理环境或以其他方式与物理环境交互。
根据本文公开的一些实施例，涉及头戴式设备和手持式触控笔的系统可用于跟踪用户的自由空间运动。触控笔可以配备有一个或多个光发射器，并且头戴式设备可以配备有朝外的相机，该相机被配置为基于光发射器的检测来转换触控笔的移动。这样的系统可以提供独立的跟踪系统，其允许用户在三维空间中自由移动手持式触控笔，同时准确地转换触控笔的自由空间运动，而不需要外部相机。
另外或组合地，触控笔可以配备有一个或多个摄像头，以便于跟踪触控笔的移动或用于从触控笔周围的物理环境收集附加数据，以便影响头戴式设备提供的输出。
例如，手写笔中的摄像头被配置为提供对佩戴头戴式设备的用户视野中被遮挡或隐藏的空间的视图，从而允许用户使用手写笔观察三维空间中的物体，并且查看头戴式设备上被遮挡或隐藏的空间。
在一些实施例中，触控笔中可以包括多个摄像头，例如一个位于主体区域，一个位于尖端附近，使得触控笔能够观察触控笔周围的三维环境以及与触控笔接触的界面表面。手写笔的笔尖。
另外或组合地，触控笔中的一个或多个相机可用于跟踪头戴式设备中的光发射器，以跟踪触控笔的自由空间位置或提高与其他数据源结合做出的跟踪确定的准确性。
苹果的专利图。下面的图1示出了具有头戴式设备和手写笔/Apple Pencil的系统的示例的示意图。
手写笔#300可以配置为可以在三维空间中自由移动的无线设备。相机#325可用于收集用户#10和/或头戴式设备#200的传感器#240视野中隐藏或遮挡的数据或图像空间。这些数据可用于绘制电子系统#100运行的物理环境的地形图。例如，映射可以用于影响混合现实环境的虚拟对象如何与物理环境交互。
使用手写笔的摄像头捕获的环境图像可以直接呈现在头戴式设备的显示器#220上，以允许用户查看物理环境中物体的周围或内部。这样的图像可以包括静止图像和/或形成视频的图像。
在一些实施例中，用触控笔的摄像头捕获的视频可以实时呈现在头戴式设备上，以允许用户使用像潜望镜一样的触控笔来查看头戴式设备上隐藏或遮挡的空间。
另外或组合地，触控笔和/或头戴式设备可包括一个或多个其他感测组件，其可包括非光学感测组件，例如超声感测组件和/或电磁感测组件。
苹果的专利图。上面的图2示出了手写笔的示例的透视图。手写笔还可以包括一个控制输入#358，它被设计为接收与笔尖#390提供的触摸输入分开的命令。例如，控制输入可以包括按钮、触摸传感器、麦克风或能够接收来自用户的手或其他部分的输入的其他输入组件。
控制输入可用于激活手写笔的组件、更改操作模式、更改设置或提供其他功能以支持电子系统#100基于手写笔的输入。
例如，控制输入可用于给触控笔供电或断电；激活光发射器#315；激活相机#325；激活相机的快门；触发头戴式设备200上呈现的CGR中的选择、导航或游戏输入。
苹果的专利图。上面的图3示出了具有一个或多个光发射器的触控笔的示例的正视图；如图。图4示出了具有一对具有不同空间图案的光发射器的触控笔的示例的前视图；如图。图5示出了具有光发射器的触控笔的示例的正视图，该光发射器具有围绕触控笔的圆周变化的图案。如图。图6示出了具有多个相机的触控笔的示例的前视图。
苹果的专利图。下面的图7示出了具有头戴式设备和手写笔的系统的示例的框图。
苹果指出，虽然该专利的主要焦点是针对 Vision Pro 等 HMD 的手写笔/Apple Pencil，但有一天，这款新的 Apple Pencil 可能会与 iPhone、Mac、iPad 等设备配合使用。
来源：patentlyapple
Chinese 
English