昨天,美国专利商标局正式授予苹果一项与具有内部和外部显示器的头戴式显示器(HMD)相关的专利。外部显示器可以促进佩戴者与另一个人或环境之间的交互。它基本上涵盖了 Apple Vision Pro EyeSight 功能的高级版本,该功能将外部显示器的通信图像和符号范围扩展到用户眼睛之外。例如,当用户正在玩视频游戏时,外部显示器可以呈现正在玩的游戏的标题,传达“请勿打扰”的意思。
促进增强交互的可穿戴设备
苹果获得的专利涵盖了 Apple Vision Pro 的 EyeSight 功能,该功能未来可能会扩展。从技术上讲,Apple 指出,除了面向佩戴者的显示器之外,HMD 还具有面向外的输出系统(包括显示器、扬声器等),以增加佩戴 HMD 时与他人互动的选项。特别是,完全覆盖佩戴者眼睛(甚至整个头部)的头戴式显示器(例如带有封装在不透明外壳中的显示器或投影仪的头戴式显示器)可以为佩戴者提供身临其境的体验。此外,HMD 可以向佩戴者呈现高度引人入胜和身临其境的环境和图像,以至于佩戴者可能很大程度上忽视了现实世界环境中发生的事情。例如,HMD 不仅可能会遮挡佩戴者对现实世界环境的视野,而且 HMD 呈现的虚拟现实环境也可能会消耗佩戴者的注意力和焦点,使佩戴者不太可能听到别人说话或做出反应或对现实世界环境做出反应。
此外,这样的HMD限制了现实世界环境中的人们识别佩戴者或与佩戴者交互的能力,因为佩戴者的眼睛通常被完全覆盖并且佩戴者的注意力可能完全被引导到虚拟环境。例如,即使 HMD 允许佩戴者看到外部环境(例如,通过外部摄像头将图像传输到佩戴者面向的显示器),佩戴者前面的人也无法确定佩戴者是否能够看到或感知现实世界环境,或沉浸在虚拟环境中。即使人和佩戴者通过说话进行互动,佩戴者的眼球运动和面部表情在很大程度上仍然是隐藏的,从而消除了许多对于人与人交流中传达信息和情感很重要的非语言线索和信号。
因此,Apple 的专利涵盖了包含外向或向外定向输出系统的 HMD,例如外部显示器(高分辨率和/或低分辨率显示器)、扬声器等,这些系统可以真实地向观察者显示或以其他方式呈现信息。 -世界环境。这种向外显示或呈现的信息可以提供通信路径,帮助穿透虚拟现实环境的沉浸式世界,并帮助打破 HMD 的物理障碍。
例如,朝外的显示器可能能够向外部观察者显示符号图形信息,并且扬声器可以允许数字助理与另一个人交互,直到佩戴者能够将他们的注意力转移到另一个人上。通过这种方式,尽管头戴式显示器和虚拟环境具有沉浸式和分离性的效果,佩戴者和外部观察者之间的通信仍得以恢复或改善。
作为一个特定示例,在 HMD 包括面向外的图形显示器的情况下,佩戴者面部的各方面或图像可以显示到现实世界环境,从而改善佩戴者与环境中的个人之间的交互、识别和通信。现实世界的环境。
为了促进这些改进,HMD可以包括相机,其捕获被HMD覆盖的用户面部部分的图像(例如,静止图像或视频图像),例如用户的眼睛、眉毛、鼻子、前额或类似。HMD可以将这些捕获的图像显示在向外的显示器上,允许现实世界中的个人看到佩戴者的眼睛和面部表情,从而促进与佩戴者更自然的交互。此外,朝外的显示屏还可以让其他人更快、更轻松地识别佩戴 HMD 的人,因为他们的脸部更多部分将被感知。作为另一个示例,在HMD包括低分辨率显示器(例如,LED阵列)的情况下,显示器可用于显示符号图形输出,该符号图形输出对应于或暗示佩戴者的心情或情绪,或者传达模式或状态HMD 的操作。
作为又一示例,HMD可以包括向外定向的扬声器,其允许与HMD集成的数字助理与外部观察者之间的交互。这些类型的输出系统和技术与 HMD 集成(单独或任意组合)时,可以实现 HMD 佩戴者与其他人之间更加多样化和稳健的交互。
HMD 还可以具有朝外的摄像头或其他传感器,允许 HMD 的佩戴者通过 HMD 的内部显示器查看现实世界(包括人)的视频或图像。(此类视频或图像可以不加任何修改地显示给佩戴者,或者它们可以完全或部分集成到佩戴者的虚拟环境中。)由于每个人都可以看到对方的脸部和眼睛,因此双显示器 HMD 有效地提供了佩戴者与现实世界环境中的人之间进行视觉交流的双向通道。此外,双方都可以体验更自然的交流,而不需要头戴式显示器的佩戴者完全脱离虚拟体验。
苹果公司的专利图。下面的 3A-C 说明了向 Apple 完整“EyeSight”功能的过渡。
在某些情况下,朝外的显示器#106显示的视觉输出不会暗示眼睛或其他面部特征,但仍然向观察者传达信息,并提高佩戴者和观察者之间交互的质量和内容。这样的视觉输出可以包括例如指示或暗示情绪或心情的符号或图像、信息显示(例如,当前天气、佩戴者正在观看的内容的描述、佩戴者的日历)、或者指示操作状态或状态的图案。佩戴者或佩戴者的虚拟环境的状态。这些在下面的图1和图2中呈现。9A-D。
苹果公司的专利图。下面的图10A-10D示出了传达关于佩戴者100和/或佩戴者与虚拟和现实世界环境交互的状态的信息的符号视觉输出的示例。视觉输出如图所示。图10A-10D可以是面向外的显示器的通信惯例的一部分,以传达可以帮助改善佩戴者100和外部观察者之间的交互的一组概念。
苹果公司的专利图。上面的图10A-10D示出了传达关于佩戴者和/或佩戴者与虚拟和现实世界环境交互的状态的信息的符号视觉输出的示例。如图。图10A示出了HMD显示三角形的视觉输出#1000,其可能类似于“回放”符号。该视觉输出可以指示佩戴者完全沉浸在虚拟环境中和/或真实世界环境没有呈现给佩戴者。
在专利图中。在图 10B 中,我们看到 HMD 显示视觉输出 #1002,其中有两条线条或形状暗示闭着眼睛。视觉输出可以传达 HMD 处于“请勿打扰”状态,或者佩戴者不希望被打扰或与现实世界环境接触。
如图。图10C示出了HMD显示暗示睁开眼睛的圆圈(类似于上述的视觉输出804),指示佩戴者正在观看真实世界环境和/或愿意与真实世界环境中的个体进行互动。
如图。图10D显示HMD显示带有代表摄像机的插入图标或符号的圆圈的视觉输出#1006,向外部观察者指示HMD正在记录真实世界环境的图像(例如,视频或静态图像)。可以替代地使用其他符号或颜色来传达HMD 102正在记录,例如红色圆圈或具有对比外围边界的红色圆圈。
如图。上面的图 11A显示了带有灯阵列 #1100 的 HMD,每个灯阵列包括以图案排列的九个光源。(也可以使用图 11A 所示以外的光源数量和图案。)灯阵列#1100 中的光源可以是 LED、白炽光源或任何其他合适的光源。
如图。图11B示出了显示视觉输出#1102的光阵列,暗示睁开眼睛。当佩戴者正在观看或能够观看现实世界环境和/或愿意与他人互动时,可以显示该图案。
如图。图11C示出了显示视觉输出#1104的光阵列,暗示闭上眼睛,当HMD处于“请勿打扰”状态或者佩戴者100不希望被打扰或参与现实时,可以显示该视觉输出#1104。世界环境。
如图。图11D示出了显示具有两个“X”符号形状的视觉输出#1106的光阵列,这可能表明佩戴者完全沉浸在虚拟环境中和/或没有呈现真实世界环境。
无花果。下面的图12A-12F示出了如何使用面向外的显示器上的不同类型的视觉输出来传达佩戴者与现实世界环境的参与程度的附加示例。例如,在面向外的显示器上显示的特定视觉输出可以指示或暗示例如佩戴者正在观看的内容、佩戴者环境的虚拟化和/或沉浸水平等。
参考图1至图4。如图12A和12B所示,当佩戴者完全沉浸在虚拟环境#1202中时,例如视频游戏(如图12A所示)或电影或视频,朝外的显示器可以显示包括徽标或视频的视觉输出1204。标题(如图12B所示)传达关于佩戴者正在参与什么的信息,以及传达佩戴者完全参与虚拟环境(并且因此可能不知道现实世界环境)的事实。
如图。图12B示出了代表视频游戏的标志,可以显示代表正在向佩戴者显示的内容的其他符号输出,包括文本(例如电影标题)、风格化文本、电影中的角色的图像、电影海报或其他宣传图片等
苹果公司的专利图。图12C-D说明了Apple的完整EyeSight功能;如图。图12E示出了示例混合现实视觉输出1212(显示给佩戴者),其中现实世界元素#1210(例如,人)被合并到虚拟环境中。为了向观察者传达佩戴者100可以看到他们或现实世界环境的一些其他方面,HMD可以在面向外的显示器上显示佩戴者的眼睛,该佩戴者的眼睛装饰有佩戴者的视图的附加符号或指示符。以某种方式被修改或调解。例如,如图所示。如图 12F 所示,视觉输出#1214 可能包括佩戴者脸部部分的实时图像以及眼睛周围的圆圈。增加观察者所掌握的关于佩戴者正在观看的内容的信息量可能有助于缓解尴尬并通常提高外部观察者的舒适度,因为观察者可能会更舒服地知道佩戴者何时以及是否接触到除了观看内容之外的内容。现实世界的环境。
Apple 的专利 14A-D 说明了 Vision Pro 使用光栅显示屏,使外部观看者可以看到耳机用户的脸部根据观看角度自然移动。
来源:patentlyapple