2023 年 11 月下旬，Patently Apple 发布了一份知识产权报告，标题为“Apple 授予使用基于机器学习的血流跟踪的下一代真实化身生成专利”。同月的第二份 IP 报告标题为“今天发布的两项苹果专利涵盖了 Apple Vision Pro 的生物识别系统（称为 Optic ID）及其相关的注册流程”。与苹果公司的任何有价值的发明一样，总是有不止一项专利涵盖某个特定项目。今天，美国专利局公布了另一项涉及该项目的苹果专利，名为“使用相对于多个表面点的深度的用户表示”。
苹果的发明涉及在计算机生成的内容中代表用户的系统、方法和设备。下面展示的逼真头像是 Apple Vision Pro 耳机上头像创建的真正进步。
Apple 的发明涵盖了生成一组值的设备、系统和方法，这些值表示用户面部在某个时间点的三维 (3D) 形状和外观，以用于生成用户表示（例如，化身） 。
更重要的是，一组点是在与另一台设备进行通信会话 (FaceTime) 期间发送的一帧 3D 视频数据，而另一台设备使用这组值，例如 RGBDA 信息（以及有关如何解释深度值的信息） ）来渲染用户脸部的视图。
在一些实现中，面部数据的连续帧（表示用户面部在不同时间点的3D形状和外观的值的集合）可以被传输并用于显示实时3D视频状面部描绘（例如，真实的移动的面部）。头像）。在一些实施方式中，用户的描绘被实时显示（例如，在第二用户的第二设备的显示器上向第二用户示出的化身）。
从技术上讲，在一些实施方式中，具有非平面形状（例如，圆柱形）的表面可以用于减少失真。该组值包括定义面部的部分相对于表面上的多个点（例如，部分圆柱形表面上的网格中的点）的深度的深度值。
例如，一个点的深度值可以定义面部的一部分位于表面上该点的位置后面的深度D1处，例如沿着从该点开始的射线的深度D1处。本文描述的技术使用与现有RGBDA图像（例如，红-绿-蓝深度-α图像）中的深度值不同的深度值，因为RGBDA图像定义相对于单个相机位置的内容深度，并且本文描述的技术本文将深度定义为相对于平面形状（例如，圆柱形）的表面上的多个点的面的部分。
使用具有相对于表面上的多个点定义的深度值的相对简单的一组值可以实现多个优点。与使用 3D 网格或 3D 点云相比，该组值可能需要更少的计算和带宽，同时能够实现比 RGBDA 图像更准确的用户表示。此外，该组值可以以类似于现有格式（例如RGBDA图像）的方式被格式化/封装，这可以使得能够与基于此类格式的系统更有效地集成。
在一些方面，电子设备是头戴式设备(HMD)。在一些方面，HMD包括一个或多个面向内的图像传感器和一个或多个面向下的图像传感器，并且传感器数据由一个或多个面向内的传感器和一个或多个面向下的图像传感器捕获。
苹果的专利图。下面的图8说明了创建逼真的3D头像的关键设备是Apple Vision Pro（HMD），尽管该发明适用于iPhone、iPad和Mac；如图。图4示出了生成和显示用户面部的表示的部分的示例。
苹果的专利图。上面的图3C示出了3D流形的表面的示例，其中强调了面部的特定区域。在示例实现中，环境包括特征参数化指令集，其配置有可由处理器执行的指令以生成表示用户面部的3D形状和外观的一组值（例如，外观值、深度值等）。在某个时间点从实时图像数据创建 3D 头像。
苹果的专利图。上面的图6是示出示例性方法的流程图。
译自：patentlyapple
Chinese 
English