前天,美国专利商标局公布了苹果公司的一项专利申请,该专利申请涉及使用偏振光(例如红外(IR)光)来改善眼睛相关功能(例如 Apple Vision Pro 中的虹膜识别)的方法和装置。它还提高了 AR/VR/MR 应用的图像质量,例如虚拟训练环境、游戏、远程控制无人机或其他机械系统、查看数字媒体内容、与互联网交互等。
在苹果的专利背景中,他们指出传统的眼睛摄像头系统使用非偏振光,这有几个限制。例如,非偏振光可能导致图像中捕获的睫毛和眼睑的反射,这可能使得处理眼睛图像以执行诸如虹膜识别和眼睛/注视跟踪之类的任务变得更加困难。
作为另一个示例,当来自照明源的闪烁落入虹膜区域时,该区域可能饱和并且因此可能对虹膜识别无用。
作为另一个示例,对于某些眼睛来说,虹膜图案的对比度(虹膜不同区域之间的对比度)可能较低。
Apple 的发明/授权专利纠正了上述缺点,这些缺点对于提供高质量的 MR/AR/VR 应用程序非常重要。
具有偏振光的眼部相机系统
Apple 授予的专利涵盖了使用偏振红外 (IR) 光来改善虹膜识别等与眼睛相关的功能的方法和设备。作为示例,头戴式显示器(HMD)可以包括眼睛相机系统,该系统包括一个或多个捕捉用户眼睛的图像的IR相机,这些图像被处理以执行虹膜识别、凝视跟踪或其他与眼睛相关的功能。
在实施例中,至少一个光偏振元件可以位于用于捕获用户眼睛(或其他面部特征)的图像的光的路径中。在一些实施例中,用户的眼睛可以被HMD的一个或多个LED发射的IR光照亮。
在一些实施例中,至少一个LED可以是具有如本文所述的一个或多个滤光器的LED封装。在一些实施例中,至少一个偏振器(例如,偏振滤光器)可以位于眼部相机传感器处、眼部相机光学器件中、或者作为位于眼部相机与用户眼睛之间的光路上的附加光学元件或位于附加光学元件中。
眼睛相机系统的实施例可以提高HMD的眼睛相关功能的性能,包括但不限于通过使用偏振光的虹膜识别和眼睛/注视跟踪。传统的眼部摄像头系统使用非偏振光,存在局限性。例如,非偏振光可能会导致图像中捕获的睫毛和眼睑发生反射,这可能会使虹膜识别和眼睛/视线跟踪变得更加困难。对于佩戴隐形眼镜或光滑角膜的用户,睫毛和眼睑的强烈反射可能会妨碍虹膜识别和/或眼睛/视线跟踪正常工作。
作为另一个示例,当来自照明源(例如,来自非偏振LED)的闪烁落入虹膜区域时,该区域可能饱和并且因此可能对虹膜识别无用。作为另一个示例,对于某些眼睛来说,虹膜图案的对比度(虹膜不同区域之间的对比度)可能较低。在眼睛相机系统中使用偏振光可以通过减少或消除反射、减少或消除闪烁和/或改善虹膜区域中的对比度来克服使用非偏振光的这些和其他限制。
苹果的专利图。下面的图8以图形方式示出了根据一些实施例的具有照亮眼睛的IR LED的IR眼摄像机。可以处理由眼部相机捕获的虹膜图像,例如执行虹膜识别以确定佩戴HMD的人是否被授权使用HMD。由眼睛相机捕获的眼睛的图像可以替代地或者也可以被处理以确定用户相对于显示器的当前视轴和注视点。
相机捕获的图像可能包括闪烁,这是红外光源(例如,LED阵列)在角膜表面上的反射。图像还可以包括用户的睫毛和/或眼睑的反射。
此外,在诸如虹膜之类的图像区域中,对比度可能不足以有效地执行诸如虹膜识别之类的功能。实施例可以在捕获图像时使用偏振IR光来改进与眼睛相关的功能,例如虹膜识别和眼睛/注视跟踪。
在一些实施例中,至少一个LED可以是具有如本文所述的一个或多个偏振滤光器的LED封装。在一些实施例中,代替偏振LED或除了偏振LED之外,至少一个偏振器可以位于眼相机传感器处、眼相机光学器件中、或者作为位于眼相机之间的光路上的附加光学元件或位于眼相机传感器之间的附加光学元件中。和用户的眼睛。
苹果公司的专利图。上面的图 9A 和 9B 展示了示例 HMD 中眼睛相机系统的组件,其中眼睛相机 #940 通过目镜或眼睛透镜 #920 对用户眼睛 #992 的反射进行成像,并且 LED #900 照亮眼睛通过眼睛的晶状体。
无花果。图13A和13B示出了根据一些实施例的使用偏振光增强对比度。如图。图13A示出了用非偏振光捕获的虹膜-瞳孔边界之间具有较低对比度的虹膜图像。如图。图13B示出了用偏振光捕获的虹膜-瞳孔边界之间具有较低对比度的虹膜图像。
来源:patentlyapple