近日,美国专利商标局正式公布了苹果公司的一项专利申请,该专利申请涉及在 HMD(Vision Pro)等设备中显示内容,该设备根据现实世界的物理环境确定并呈现方向感知指示器。
苹果在其专利背景中指出,电子设备通常用于向用户呈现虚拟对象,例如应用程序内容,这些虚拟对象可以补充这些电子设备提供的视图中可感知的周围物理环境。一些现有技术提供了可能难以导航的三维 (3D) 环境视图。例如,用户可能会在物理环境中走动时查看带有附加虚拟内容的物理环境,从而失去方向感。在这种情况下,可能需要提供一种有效提供方向的方法,或在 HMD 或其他设备中为 3D 环境中的用户提供定位指示。
根据上下文提供方向意识指标
苹果的发明涵盖了各种实现,包括设备、系统和方法,它们在某些检测到的环境中提供方向意识指示器(例如,微妙的视觉/音频、非侵入性提示),以补充用户的自然方向感。在一个示例中,每五分钟使用空间音频从北方播放一次 ping。
可能触发此类指标的示例环境包括用户 (a) 身处新城市或不熟悉的地方,(b) 进行诸如徒步旅行之类方向感很重要的活动,(c) 表现得迷失方向或迷路,和/或 (d) 靠近特定位置、物体或人。
方向感知指示器可以识别基本方向(例如,北方)或朝向固定位置或设备(例如,露营地或摇滚音乐会上其他用户的设备(经许可共享))的方向。方向感知指示器可以基于诸如与特定位置、物体或人的距离等因素以视觉或听觉方式发生变化。
在一些实现中,可以在一个或多个不同的视图集中提供方向意识指示器,以改善用户体验(例如,在佩戴头戴式显示器(HMD)以观看视频时)。
一些实现允许与方向感知指示器(例如,应用程序小部件)进行交互。在一些实现中,设备(例如,HMD、手持设备或笔记本电脑)向用户提供三维(3D)环境(例如,视觉和/或听觉体验)的视图,并使用传感器获取与用户响应相关的生理数据(例如,凝视特征)和运动数据(例如,控制器移动头像、头部运动等)。
基于获得的生理数据,本文描述的技术可以通过跟踪用户的凝视特征和其他交互(例如,物理环境中的用户运动)来确定用户在观看 3D 环境(例如,扩展现实 (XR) 环境)期间的前庭提示。
基于前庭线索,该技术可以检测与方向意识指标的相互作用,并提供不同的视图集以改善用户在观看 3D 环境时的体验。
在某些方面,呈现方向性感知指示器还基于相对于电子设备的三维 (3D) 位置。在某些方面,方向性感知指示器包括使用空间音频从 3D 位置播放的音频提示,其中 3D 位置是基于所识别的方向确定的。
在某些方面,方向感知指示器是视觉提示,定位在通过电子设备提供的物理环境视图中的 3D 位置处,其中 3D 位置基于所识别的方向确定。在某些方面,方向感知指示器不是基于与在物理环境中使用电子设备相关的检测到的上下文相关的标准呈现的。
下面的苹果专利图 6 示出了示例头戴式设备(HMD),即本发明的焦点设备;图 5 示出了示例设备(例如“方向意识插图集”)的设备组件;图 3A 示出了基于用户在城市环境中使用电子设备的移动的示例位置图。
上述苹果专利图 3B 示出了图 3A 中用户的电子设备的示例视图,该电子设备根据一些实施方式包括方向感知指示器。
Translated from: patentlyapple