Meta Quest 3 推出“Inside-Out 身体追踪”与“混合现实遮挡追踪”功能

Meta Quest 3 开发者现可集成三个主要新特性来改进虚拟现实和混合现实。

Inside-Out 身体追踪（IOBT）和“Generative Legs”（生成化身腿部）功能将于12月推出。通过 Depth API 实现混合现实的遮挡以前是一项实验性功能，这意味着现在开发者可以测试该功能，但无法发布到Quest Store或App Lab。

以上三个功能均可作为 Unity 和本机代码 v60 SDK 一部分。同时，v60 虚幻引擎集成包括 Depth API，但不包括 IOBT 或 Generative Legs。

Inside-Out 身体追踪

IOBT 基于 Quest 3 侧面摄像头（面朝下）通过先进计算机视觉算法来追踪用户手腕、肘部、肩膀和躯干。

IOBT 防止了逆向运动学（IK）预估手臂位置的问题，但由于系统只是根据用户头部和手部位置进行猜测，这些问题通常是不正确的，而且让人感觉不舒服。而当开发者集成 IOBT 时，将会看到手臂的实际位置。

这种上半身追踪还可以让开发者将拇指操纵杆的运动锚定到身体方向，而不仅仅是头部或手部，可以执行新的动作并在虚拟化身上逼真显示。

Generative Legs 下半身预估腿部位置功能

Generative Legs 使用“尖端”技术用于预估腿部位置人工智能模型，这是 Meta 多年来一直在研究的技术。

基于 Quest 3 ，由于采用上半身追踪作为输入方式，Generative Legs 提供了比以往头显更真实的预估，同时该功能也适用于仅采用头部和手部追踪的 Quest Pro 和 Quest 2。

不过，Generative Legs 系统只是一个预估器，而不是追踪器，因此虽然Generative Legs可以检测跳跃和蹲下动作，但不会捕捉到许多实际动作，例如膝盖抬起。

由内向外的上半身追踪和生成化身腿部共同在VR中实现了全身追踪，称为全身合成，无需外部硬件。

Meta 此前宣布“全身合成”机制将适用于 “Supernatural”、“Swordsman VR” 和 “Drunken Bar Fight”。

在评测中，可以明显发现混合现实动态遮挡的缺乏。虽然虚拟对象可以出现在房间设置扫描生成的原始场景网格后面，但它们始终显示在移动对象（例如手臂和其他人）的前面，即使距离较远，但看起来仍然很不自然。

开发者已经可以通过手部追踪网格来实现手部动态遮挡，但很少有人这样做，因为手腕与手臂显示并不完善。

新的 Depth API 为开发者提供了基于头显角度生成的每帧粗略深度图。这可用于实现遮挡，既适用于移动对象，也适用于静态对象的更精细细节，因为这些对象可能尚未在场景网格中捕获。

动态遮挡将使 Quest 3 混合现实看起来更加自然。然而，头显深度感应分辨率非常低，因此无法捕获诸如手指之间的空间等细节，你将看到对象边缘周围有一个空白间隙。

其深度图仅建议调整到 4 米，之后“精度会显著下降”，开发者可能还需要使用场景网格进行静态遮挡。

开发者可以通过两种方式实现遮挡：硬遮挡和软遮挡。硬遮挡本质上是免费的，但有锯齿状边缘，而软遮挡则需要 GPU 成本，但看起来更好。

但在这两种情况下，遮挡都需要使用 Meta 特殊遮挡着色器或在自定义着色器中专门实现它，这远非一键式解决方案，并且可能需要开发者付出巨大努力来支持。除了遮挡，开发者还可以基于 Depth API 在混合现实中实现基于深度的视觉效果，例如雾。

来源：UploadVR、93913

原文始发于微信公众号（艾邦VR产业资讯）：Meta Quest 3 推出“Inside-Out 身体追踪”与“混合现实遮挡追踪”功能