Vision Pro 开发者发布的一段视频似乎展示了苹果新耳机当前的手部追踪和遮挡性能水平。
Apple Vision Pro预计将在未来几个月内推出，将使用手势追踪作为其主要输入方式。虽然系统级交互将手部跟踪与眼部跟踪相结合，形成“查看和点击”模式，但开发人员还可以构建允许用户直接使用双手与应用程序交互的应用程序。
Vision Pro 上的手部追踪可分为两种不同的功能：“手部追踪”和“手部遮挡”。
手部跟踪是手、其关节和指尖位置的估计 3D 模型。该模型用于确定物体何时被触摸、抓握和交互。
手部遮挡涉及系统如何将您的真实手覆盖到虚拟内容上。Vision Pro 不是将虚拟手的 3D 模型绘制到场景中，而是剪切真实手的图像以将其显示在场景中。这样做为虚拟内容增添了另一层真实感，因为您可以看到自己独特的双手。
使用 Unity 构建 Vision Pro 的开发人员发布了一段视频，清晰地展示了手部跟踪和遮挡。
在上面的视频中，真实的手显示了正在运行的遮挡系统，而绿点显示了手的估计 3D 位置。
我们可以看到，手部遮挡非常好，但并不完美；当完全被虚拟内容包围并快速移动时，您可以看到手部边缘出现一些剪裁。
同时，实际的手部跟踪位置比手部遮挡更加滞后，大约落后 100-200 毫秒。然而，我们无法完全确定 Vision Pro 手部跟踪的真实延迟，因为我们只能看到遮挡跟踪手部的视图来进行比较（手部跟踪本身相对于真实的手部会有一些延迟）。
在这种情况下，该视频来自 Unity 开发人员对话，称他们对 Vision Pro 的早期实验显示出非常高的手部跟踪延迟，显然与最新的 Quest 手部跟踪功能相比。其他 Unity 开发人员一致认为，他们在自己的 Vision Pro 设备上也看到了类似的延迟。
然而，有问题的视频是 Unity 应用程序内部的手部跟踪集成，这意味着手部跟踪性能和延迟可能存在与 Unity 相关的其他因素，而在使用 Apple 的第一方 Vision Pro 开发工具时，这些因素并不存在。考虑到耳机尚未推出，并且这些工具仍在开发中，当耳机实际到达商店时，我们可能会看到更多改进。
来源：roadtovr
Chinese 
English