昨天，美国专利商标局正式公布了苹果公司的一项专利申请，该专利申请涉及智能眼镜和 XR 耳机的眼部成像系统，该系统将为扩展现实应用提供眼部跟踪。
扩展现实 (XR) 系统，例如混合现实 (MR) 或增强现实 (AR) 系统，将计算机生成的信息（称为虚拟内容）与现实世界图像或现实世界视图相结合，以增强或添加内容到用户的世界观。因此，XR系统可用于为多个应用程序提供交互式用户体验，例如将虚拟内容添加到观看者环境的实时视图、与虚拟训练环境、游戏、远程控制无人机或其他机械系统交互的应用程序，查看数字媒体内容、与互联网交互等。
眼部成像系统
Apple 的专利申请涉及在扩展现实 (XR) 应用中提供眼动追踪的方法和 HMD（Apple Vision Pro 或智能眼镜）。HMD 可能包括可穿戴设备，例如耳机、头盔、护目镜或眼镜。
XR系统可包括HMD，其可包括可用于捕捉用户环境的静态图像或视频帧的一个或多个相机。HMD 可以包括位于眼睛前面的透镜，佩戴者可以通过该透镜观看环境。
在XR系统中，虚拟内容可以显示或投影到这些镜片上，以使佩戴者可以看到虚拟内容，同时仍然能够通过镜片查看真实环境。
在至少一些系统中，HMD可以包括视线跟踪技术。在示例凝视跟踪系统中，一个或多个红外（IR）光源向用户的眼睛发射IR光。一部分红外光从眼睛反射并被眼睛跟踪相机捕获。
由眼睛跟踪相机捕获的图像可以被输入到例如由HMD的控制器的一个或多个处理器实现的闪烁和瞳孔检测过程。该过程的结果被传递到注视估计过程，例如由控制器的一个或多个处理器实现，以估计用户的注视点。这种注视跟踪方法可以被称为PCCR（瞳孔中心角膜反射）跟踪。
传统上，眼睛跟踪相机安装在HMD框架上的某处并指向眼睛以对眼睛进行成像，或者安装在HMD的外部，从而通过HMD的显示镜头对眼睛进行成像。在这两种情况下，相机都无法获得眼睛的直接视图，因为形状因素导致相机无法直接放置在眼睛前面，因此相机会以一定角度对眼睛进行成像。
解决方案是使用位于 HMD 显示组件中的波导将眼睛图像转发到位于可穿戴设备框架上某处的传感器。然而，传统的显示波导以角度对图像点进行编码，因此可以对无限远的物体进行成像。虽然这可以用于执行视网膜跟踪，但由于至少一些可穿戴设备的形状因素，显示器距离眼睛角膜太近，因此该方法无法用于捕获用于 PCCR 凝视跟踪过程的图像。
描述了能够利用波导对角膜/瞳孔进行成像的方法和装置的实施例。这些实施例允许成熟的 PCCR 算法与更自然地适合 HMD 外形尺寸（例如可佩戴眼镜）的光机械设计一起使用。
实施例包括可穿戴设备的显示透镜中的波导层，其包括沿一个方向（垂直、水平或以一定角度）定向的窄但长的输入耦合器（或输入耦合器）。输入耦合可以使用衍射或反射来以一定角度重新引导从眼睛接收的光线，该角度使得波导使用全内反射(TIR)或其他反射处理将光线引导至输出耦合。
输入耦合还用于将光线聚焦到输出耦合。然后，输出耦合可以使用反射或衍射来将光线从波导重定向到眼睛跟踪相机的镜头。眼睛跟踪摄像头可以位于可穿戴设备框架上的任何位置，因此位于用户通过镜头的视野之外。使用这种方法，与传统的眼睛跟踪系统相比，相机可以捕获更直接的眼睛角膜、虹膜和瞳孔图像。
将输入耦合器实现为窄“槽”（例如，宽度约1毫米，长度20-30毫米）允许输入耦合器保留波导内的物点和传播角之间的映射，从而有效地聚焦在所有距离。输入耦合器可以直接位于用户眼前。因此，实施例可用于对靠近可穿戴设备的镜片的眼睛表面进行成像。这使得波导可用于捕获角膜、虹膜和瞳孔的对焦图像，以用于现有的 PCCR 算法。
苹果的专利图。下面的图2概括地示出了在诸如一副眼镜的HMD的透镜中使用具有窄输入耦合器和输出耦合器的波导来对用户的眼睛进行成像。
苹果的专利图。下面的图 3A 说明了输入耦合器#242 使用衍射或反射来改变光线角度，以便光线通过波导#240 内的全内反射 (TIR) 重定向至输出耦合器#244。输入耦合器可以被选择为使得它仅影响由光源#280发射的光谱的红外(IR)部分内的范围(例如，~850或~940纳米)，并且因此几乎没有影响。或者对光谱的可见部分内的光没有影响，使得用户对环境的观察以及HMID的显示组件的输出不会受到负面影响。重定向的红外光线由输出耦合器重定向到位于 HMD 框架 #210 上某处的眼睛跟踪相机 #220。
苹果的专利图。图4C示出了被示出为智能眼镜的示例HMD，其包括具有窄输入耦合器和输出耦合器的波导，该输出耦合器将光线重定向到位于HMD的框架上或附近的眼睛跟踪相机。
例如，眼镜可能包括一个显示系统，该系统引导光线通过镜片#220中的一层或多层波导形成图像（虚拟内容）；波导的输出耦合器（例如浮雕光栅或体积全息术）可以向佩戴者输出光以在佩戴者的眼睛处或附近形成图像。
苹果公司的专利图。上面的图7A和7B以图形方式示出了波导中光线的重定向，该波导将光线重定向到眼睛跟踪相机。
译自：patentlyapple
Chinese 
English