固件发现表明 Meta 正在顺利地将其逼真的“编解码器头像”引入其 Quest 头显。
Codec Avatars 是 Meta 的长期研发项目,旨在通过带有面部跟踪传感器的头显以及最终的眼镜实时驱动真正令人信服的照片级真实化身,从而彻底改变远程通信。Meta于 2019 年首次透露了该项目的存在 ,并在随后的几年中展示了多个 保真度更新 以及 完整版本。
虽然编解码器化身一直被描述为处于研究领域,但一项新的发现表明,它现在可能会成为 Quest 头显的一项功能。
VR 爱好者Luna通过反编译 Meta Quest 固件的 62 版发现了对 Codec Avatars 的引用,该固件目前可供公共测试频道的测试人员使用。
过去,我们已经多次以这种方式发现即将推出的 Quest 功能。它告诉我们,Meta 正在努力在 Quest 头显上集成一项功能。然而,它并没有告诉我们该功能还有多远,或者它是否会真正发布。例如,Space Sense在固件中被发现几个月后才发布,而Quest Pro 则花了一年多的时间。多年来,人们已经发现了 Discord 集成和Project Avalanche云 PC VR 流媒体功能,但两者都没有发货。
去年 3 月,Meta 首席技术官 Andrew Bosworth表示,该公司在发布 Codec Avatars 方面正在“取得进展”,但是他们表示“我们还需要几年的时间”。
目前还不清楚该功能是为现有的 Quest 头显还是未来的 Quest Pro 2 开发。
去年 3 月,Meta Quest 硬件路线图会议被泄露给 The Verge。除了透露 Quest 3 和即将推出的更便宜的头显(传闻称为 Quest 3 Lite)的细节外,该路线图还提到了一款新的 Quest Pro 头显“未来的出路”,其中将包括 Codec Avatars。
但 Meta 可能打算将 Codec Avatars 引入现有的 Quest Pro,甚至 Quest 2 和 Quest 3。
2021 年,Meta 研究人员展示了一种更加有效的解码编解码器头像的方法。在 Quest 2 上,新方法可以在空白场景中以 72FPS 的速度渲染一个 Codec Avatar,以 63FPS 左右的速度渲染三个 Codec Avatar,或者以 43FPS 左右的速度渲染 5 个 Codec Avatar。
但这些化身如何在缺乏面部和眼球追踪功能的 Quest 2 和 Quest 3 上驱动呢?Meta 研究人员还展示了不需要面部跟踪的 Codec Avatars 版本,最近甚至推出了根本不需要任何跟踪的版本。相反,来自麦克风的音频被输入神经网络,该网络估计当前语音模式可能的面部姿势。
尽管如此,Meta 完全有可能希望为未来的 Quest Pro 2 保留足够强大的编解码器化身,以支持Horizon Workrooms会议中的编解码器化身,并通过真实面部跟踪来驱动它们。
无论交付的 Codec Avatars 功能适用于哪种特定 Quest头显,其质量几乎肯定不会与 Meta 最令人印象深刻的演示相同,例如Lex Fridman对 Mark Zuckerberg 的采访。这些演示和采访使用了由 100 多个摄像机组成的专用捕捉装置生成的编解码器头像。
Meta 研究人员一直致力于 用智能手机扫描来取代这一过程,这是大规模交付编解码器化身所必需的,但这会产生较低质量的结果。Quest Pro 2 可能包括一个前置显示屏和用于头像设置的深度传感器,就像Apple Vision Pro 用于其角色一样,但这仍然无法匹配专门的捕获装置。
尽管如此,任何版本的 Codec Avatars 都应该比 Meta 当前的头像有了巨大的改进,后者具有基本的卡通艺术风格,与照片写实主义相差甚远。
Translate from:uploadvr