近日，美国专利商标局正式公布了苹果公司新获批的 58 项专利。本文简要介绍了三项 Vision Pro 相关发明，这些发明涉及 FaceTime 的逼真头像创建、视网膜眼球追踪等。
Vision Pro 头像面部表情生成
该专利涵盖生成表情丰富的头像的过程，包括获取一张表情丰富的面部图像，并确定用于表示该面部的至少一个目标细节级别。经过训练的卷积神经网络模型应用于面部的表情图像，以在每个目标细节级别获得面部的网格表示，其中，卷积神经网络模型中的每个卷积提供一个独特的细节级别，并根据至少一个目标细节级别的面部网格表示生成头像。
苹果进一步指出，XR 模块可以配置为支持扩展现实服务，例如渲染头像（例如描绘脸部）。头像可以根据输出网格和其他数据（例如头部姿势、光照条件和视角向量）进行渲染。
苹果公司的专利图 1 显示了一种使用受限神经网络生成面部表情网格的技术示例图。
沟通会话中的 3D 呈现调整
该第二项授权专利本质上支持上述第一项授权专利。该专利涵盖提供通信会话中另一用户（例如，头像）的三维 (3D) 表示调整位置视图的设备、系统和方法。在第一设备上，通信会话期间获取对应于第二设备的第二用户（例如，发送方）的至少一部分的 3D 表示数据；再获取对应于第二设备的摄像头视点位置和眼睛视点位置之间的偏移信息（例如，垂直偏移值）。然后相对于与第一设备关联的 3D 环境调整第二用户的 3D 表示的第一部分（例如头部和躯干）的位置。在通信会话期间提供包含第二用户的 3D 环境中的 3D 表示第一部分的视图。
苹果公司的专利图 4 显示了与通信会话期间与头戴设备（HMD）相关的摄像头视点位置和眼睛视点位置之间的偏移。
如图 4 所示，HMD 包括一个朝内的摄像头（传感器 #425），当用户看向另一个用户的表示 #440 的眼睛（例如，由眼神接触线 #414 表示）时，其用于捕捉用户 #430 的面部图像，特别是眼睛和眼睛注视（例如，眼睛视点 #412）。HMD 还包括一个面向外的摄像头（传感器 #420），用于捕捉摄像头视点（例如，摄像头视点 #422），HMD 使用该摄像头向用户显示他或她认为的实际视点内容。
基于视网膜成像的追踪系统
在苹果的专利背景中，他们指出，基于视网膜成像的追踪系统通常既有照明源将光线导向视网膜，又有图像传感器生成包括视网膜反射光在内的图像。此类追踪系统的缺点包括照明源消耗的电量相对较大，以及来自视网膜以外的眼球表面（如角膜、晶状体等）的不必要反射（眩光）。
苹果公司授权专利 12073018 涵盖了提供基于视网膜成像的视线追踪的各种实现方法。一种方法是基于选择性照亮多个光源的子集来跟踪用户的视线，以将光导向用户视网膜的一个或多个部分。或者将光源的子集用于视网膜成像，以通过减少眩光、减少图像饱和度、减少成像计算或减少能耗来提供更好的视线追踪。
下面的苹果专利图 3 是一个框图，展示了一个示例性的跟踪系统，该系统选择性地使用多个光源的子集来照亮视网膜的一个或多个部分以进行注视跟踪；（5）图 4 是用于照亮视网膜的示例性光源的眩光的示意图；图 6 是用于照亮视网膜的图像传感器附近的示例性光源的示意图。
Translated from: patentlyapple
The original article was first published on the WeChat official account (Aibang VR Industry News)：Vision Pro三项新专利公布
English 
Chinese