当 Apple 在 6 月份的 WWDC23 上推出 Apple Vision Pro 时，Apple Vision Pro 的虚拟显示屏中出现了一种特殊的视觉效果（如上面的封面图所示）：一只恐龙突然出现。如果开发商和电影制作人在科幻片、恐怖片和纪录片中明智地使用它，这可能会是一个戏剧性的功能。
当然，在 Apple 图形团队为 WWDC 2023 制作此演示之前，该概念首次以专利形式提出并详细说明。
在 3D 环境中定位内容
Apple 的发明涵盖提供三维环境（3D 环境）视图的设备、系统和方法。内容可以是交互式的或非交互式的，并且可以使用3D环境的视图内的虚拟屏幕来呈现。
屏幕上内容的一部分可以呈现在虚拟屏幕上，并且内容的屏幕外部分（前景、角色、某些对象）可以以 3D 形式呈现在该虚拟屏幕前面或向上/向下/向左延伸/ 越过虚拟屏幕的边界。
屏幕上的部分可以是立体的，因此仍然具有 3D 外观。屏幕外内容的3D外观可以通过其在虚拟屏幕前面或之外的3D位置处的定位来确定。边界可以被突出显示，例如，看起来观看者房间中的恐龙走向观看者。
确定内容的哪些部分在屏幕上以及哪些部分在屏幕外可以是预定的或在运行时确定，例如基于跨越边界的角色。例如，确定何时显示屏幕上内容而不是屏幕外内容可以基于跟踪恐龙何时跨越输入上的特定边界、用户的注视/位置、场景理解等。
在一些实施方式中，可以在一组或多组不同的视图中提供虚拟内容以改善用户体验（例如，当佩戴头戴式显示器（HMD）时）。一些实现允许与虚拟内容（例如应用程序小部件）交互。
在一些实施方式中，设备（手持式设备、笔记本电脑、台式机或HMD Apple Vision Pro）向用户提供3D环境的视图（例如视觉和/或听觉体验）并通过传感器凝视特性获得生理数据）以及与用户的响应相关联的运动数据（例如，通过控制器移动化身、头部运动等）。
基于获得的传感器数据，该专利中描述的技术可以通过跟踪用户的一个或多个注视特征和其他交互来提供用户在观看3D环境（扩展现实环境（XR环境））期间的前庭信号（例如，用户在物理环境中的移动）。
基于前庭信号，这些技术可以识别与虚拟内容的交互并提供另一组视图以改善用户在观看3D环境期间的体验。
苹果的专利图。图1示出了示例性物理环境#100。如图。图 1 展示了在物理环境空间中运行的示例电子设备 #110（现在称为 Apple Vision Pro）。在此示例中，该空间包括屏幕#120，该屏幕#120可以是物理结构或物体，或者屏幕#120也可以代表墙上的区域或表面，Apple Vision可以在其中向用户显示内容。在其他示例中，屏幕#120可以表示与墙壁（或其他表面）分离的区域，其中可以显示虚拟屏幕（例如，可以显示自由浮动的虚拟屏幕的空间中的开放区域）。
下面的苹果专利图5A、5B分别示出了Apple Vision Pro提供的3D环境#505的示例性视图500A和500B。视图 500A 示出了角色#250（恐龙），它延伸到平面区域之外并延伸到屏幕的显示#220 的右侧。
苹果的专利图。上面的图 6D 示出了将内容#210 的不同部分定位在后壁的有限平面区域的前面。例如，诸如背景或中底之类的一些内容可以继续呈现在有限平面区域上，并且诸如前景内容（例如，屏幕外内容）之类的其他内容可以呈现为好像它来自有限平面区域一样。后壁区域。特别地，图6的视图600D。图 6D 示出了角色#250，即恐龙，从虚拟显示器中弹出。
Translated from: patentlyapple
English 
Chinese