苹果眼动追踪新专利曝光：可通过生物反馈确定用户注意力
彭博社记者 Mark Gurman 表示：“苹果正在开发一种 AI 驱动的健康指导服务和跟踪情绪的新技术，这是它通过健康和保健功能吸引用户的最新尝试。”更具体地说，“新的教练服务（代号为 Quartz）旨在保持用户锻炼的积极性，改善饮食习惯并帮助他们改善睡眠”。按照同样的思路，苹果在欧洲的一项新专利从另一个方向扩展了他们对健康的关注。
苹果公司在欧洲申请的这一专利名为“基于眼球的生物反馈”，该申请于 2023 年 4 月 12 日在欧洲公布。该专利涉及使用 XR 头显显示内容，以及确定用户在显示内容期间的注意力状态。
用户在电子设备上查看内容时的认知或注意力状态会对用户体验产生重大影响。例如，在 XR 环境中使用头戴式设备（HMD）时，可能需要保持专注和参与，以实现有意义的体验，例如冥想、学习新技能、观看教育娱乐内容或阅读文档。用于评估用户查看和与内容交互的注意力状态的改进技术可以增强用户对内容的享受、理解和学习。
苹果的专利涵盖在呈现内容（例如，视觉或听觉内容，可能包括现实世界的物理环境、虚拟内容或每种内容的组合）期间或之后确定用户注意力状态的设备、系统和方法，以增强体验。
在示例实施中，冥想和正念练习与本专利中描述的技术相结合，可以通过为个人提供有关冥想表现的实时反馈来增强冥想体验。
例如，对冥想感兴趣的新手在冥想过程中可能难以专注于任务，他们可能会从对自己表现的准确反馈中受益。该专利中描述的技术可以根据用户注视特征的变化来检测用户在冥想时何时分心。
在冥想期间找到明确的注意力缺失标志并提供表现反馈可以增强用户体验，从冥想课程中获得额外的好处，并为用户提供指导和支持性的教学方法（例如，脚手架教学方法），以推进他们的冥想练习。
眼球注视模式可以根据个人的注意力状态和面前场景的特征而变化。这些模式可以在使用带有眼动追踪技术的 HMD 时获得，同时用户执行需要不同程度注意力的正念任务，例如集中注意力进行呼吸冥想。
在冥想过程中，注意力可能会向呼吸方向波动。当一个人在睁眼冥想任务中专注于他们的呼吸时，眼睛的注视可能会很慢，并且仅限于场景的特定区域。当个体失去注意力并开始走神时，眼睛注视稳定性可能会降低和/或眼睛注视速度可能会增加。
观察一段时间（几秒钟到几分钟）内眼球注视速度和位置的重复测量可以深入了解用户在不同时间尺度上的注意力状态。这些注意力指标可用于在冥想体验期间提供反馈。
苹果专利图 1 说明了显示视觉体验并从用户获取生理数据的设备；图 2 说明了图 1 用户的瞳孔，其中注视特征随时间变化；图 3 是用于对注视特征的可变性进行分类，以确定用户注意力状态的方法流程图表示。
苹果专利图 4A 和 4B 是说明用户在两种不同注意力状态下的注视特征变化的图表；图 5A 和 5B 是说明用户在两种不同注意力状态下的注视特征变化的图表。
在苹果公司的专利图 6 中，能够看到一个框图，说明一个示例性设备的设备组件；图 7 是一个示例性头戴式设备（HMD）的框图。
苹果新专利为未来 HMD 研究光栅显示器
2021 年，苹果发布了多项与光栅显示器有关的专利，其中实际的 Apple TV 显示器能够在没有 3D 眼镜的情况下呈现 3D 风格的内容。
近日，苹果公布了一项名为“光栅图像生成”的专利申请。该专利于 2023 年 5 月 3 日公布，涉及生成将在光栅显示器上显示图像的方法和装置。但是电视不是这项专利的重点，而是 HMD，这个词在专利中被列出了大约 30 次。虽然不限于 HMD，但它是该专利的一大焦点。
在这些方法中，离线生成固定网格，并将纹理信息实时映射到固定网格。在离线过程中，物体的纹理和 3D 网格信息用于渲染物体的多个视点 UV 贴图视图，从显示校准数据生成视图。
该专利展示的方法实时捕获纹理信息，并执行合成过程，通过基于光栅到 UV 贴图从纹理中采样像素，来生成多个视点的光栅图像，然后将光栅图像显示在光栅显示器上。检测到的人员在环境中的位置可用于限制实时合成过程中生成的视点数量。
苹果专利图 1A 和 1B 说明了一个光栅显示 #120 的示例。图 1A 说明了光栅显示器示例的 3D 前视图，图 1B 说明了示例光栅显示的俯视图。
如图 1A 所示，光栅显示器可以包括显示面板 #122，该面板可以是 LCD、OLED、DLP 或 LCoS（硅上液晶）。如图 1A 和 1B 所示，光栅透镜 #126 可以是放大镜（也称为透镜）#128 的片状或阵列，其配置成当从略有不同的角度观察光栅显示器时，从不同的视点或视角（例如， VI、V2 和 V3）可以看到正在显示的光栅图像的不同视图。
此外，视角半径例如可以是 30 度；但是，可以使用更宽或更窄的视角，例如在 15 到 65 度的范围内。作为非限制性示例，光栅显示器 #120 可以提供 22 个视角，分布在 30 度的视角半径上，每 1.6 度具有不同的视图。
苹果专利图 1C 说明了示例设备 #100 的俯视图，该装置包括图 1A 和 1B 中说明的光栅显示器 #120。根据一些实施例，该装置可以包括光栅显示器、一个或多个传感器 #140 和控制器 #160。传感器可以收集有关物体 #190 的信息，以作为光栅显示器上的图像。
传感器 #140 可以包括但不限于一个或多个摄像头，用于捕获对象 #190 的深度信息。控制器可以包括一个或多个处理器，其处理由传感器捕获的数据，以生成对象的纹理（例如，着色和阴影）和网格（例如，3D 表示）信息。从纹理和网格信息，控制器可以生成要显示在光栅显示器上的图像。
苹果专利图 2A 说明设备 #200 可以是一个 HMD，戴在用户的头上，使光栅显示器 #210 配置在他们的眼前。
作为另一示例，显示系统 #210 可以是直接视网膜投影仪系统，其逐像素地扫描左右图像到受试者的眼睛。为了扫描图像，投影仪生成光束，这些光束被引导到反射组件，这些组件将光束重定向到用户的眼睛。HMD 一词在该专利中被列出 30 次。
苹果专利图 5 以图形方式说明了离线生成光栅到 UV 贴图的方法。
原文始发于微信公众号（艾邦VR产业资讯）：苹果AR/VR新专利：眼动追踪和光栅显示
Chinese 
English