随着虚拟现实（VR）、增强现实（AR）和混合现实（MR）技术的逐渐融合，学术界和产业界逐步开始使用 “Extended Reality (XR)” 这个术语来代指跨越不同现实的技术，而XR HMD （Extended Reality Head-Mounted Display）是一类用于体验 XR 技术的可穿戴头显设备。这些设备将显示屏、传感器和计算功能集成在一个头戴装置中，使用者可以在不同的现实增强技术中获得沉浸式体验。
XR HMD传感器类型
为了提升沉浸式体验，XR HMD设备必须实时跟踪用户的头、手、眼、面部甚至身体的状态，以实现与真实或虚拟环境的完美交互。这种精确的空间感知能力离不开多种传感器的支持。不难发现，XR HMD机身传感器的配置一直朝着拟人化的思路设计，各部件的传感器可以完美地比喻为设备机身的“器官”，这些传感器各自扮演着独特的角色，为设备提供多种感知与交互能力。
从传感器的工作原理及功能具体划分，XR HMD设备相关的传感器可分为惯性传感器、视觉传感器以及其他传感器三大类。
惯性传感器（IMU）主要用于检测设备的运动状态，包括加速度计、陀螺仪、磁力计等。
视觉传感器通常包括RGB或VST摄像头、定位摄像头、深度摄像头等，通常用于捕捉用户和环境的视觉信息，例如捕捉设备“看到”的工作环境变化（颜色、形状、深度等信息）、佩戴者的手势、视线或面部信息。这些视觉信息是头/手定位、手势识别、视线追踪、身份甄别、Video See-Through（VST）等功能算法的重要输入。
此外，XR HMD常见的其他传感器有麦克风、电容传感器、光传感器以及温度传感器等。由于仅仅依靠单个传感器在功能及可靠性上往往表现得不尽人意，因此设备大多采用多传感器融合技术来提高数据的准确性和可靠性。下表列举了不同传感器在 XR HMD 中的融合及其作用。
XR HMD多传感器选型考量
将更多类型的传感器加入机身在一定程度上增强了用户体验的自然性和流畅性，但同时也带来了设备笨重、功耗大、开发生产成本增加等一系列问题。因此XR HMD开发厂商在设计产品时会综合考虑应用场景、功能定义、算法方案以及成本等多种因素以决定传感器的布局和配置。
下表列举了一些已发布产品在机身配置上的考虑，其中国际市场上具有较大影响力的公司如Apple、Meta、HTC等，因设备定位为面向高端市场，在传感器选型时较少考虑成本因素，更加注重设备功能的多样性及体验的自然性；对比而言，国内厂商则更多面向大众消费市场，选型时努力在功能、性价比以及佩戴体验之间找到平衡。
图片来源于HoloLens 2 硬件 | Microsoft Learn
XR HMD传感器标定概述
机身引入传感器在提升XR HMD性能及效率上起到了重要作用，但因传感器可能存在一定的测量误差且不同传感器的数据往往在时间及空间维度上存在偏差，为了确保传感器的可靠性及多传感器数据的可融合性，因此在使用传感器数据前，必须通过标定对传感器参数进行校准。
传感器参数包含传感器内参和传感器外参，传感器内参指不依赖于外部世界以及传感器放置位置的参数；传感器外参指描述传感器相对于外部参考系的位姿 (即位置和方向) 参数[1]。
根据数据校准的阶段，传感器标定分为线下出厂标定和线上实时标定。前者是在传感器生产完成后进行的，通常在类似实验室等相对稳定和可控的环境中进行；后者是指在传感器实际运行中进行的标定，通常通过算法实时分析实际输出与预期输出之间的差异，自动调整内外参数。
传感器的具体标定需求一般源于应用算法对传感器数据的要求，为了减轻应用算法的计算压力，通常要求传感器进行线下出厂标定，如IMU标定、视觉标定、VST标定、VIO联合标定等。
IMU标定主要标定其零偏、轴偏、尺度因子等固定误差及温漂 、白噪声、随机游走噪声等非确定性误差；视觉标定主要标定光心、主点及畸变等相机内部参数及相机间的安装结构参数。
VST标定主要标定VST透视相机的畸变、视窗等参数。
VIO标定主要标定跟踪相机与IMU之间的安装结构参数及两者的时间系统偏差。
由于这些标定与传感器数据的稳定性极其相关，如在视觉传感器或IMU传感器异常时，以上标定往往不能顺利完成或是结果异常，因此出厂标定一方面可以提供算法所需的内外参数，另一方面也可以作为检验设备传感器是否良好的一道工序。
但是，有些与用户佩戴相关的参数，往往需要在线下标定的基础上，增加线上标定流程。如在OST标定中，因每个用户的观测眼点不一致，为了使每个用户都有较好的虚实融合体验，设备系统往往建议用户在佩戴好HMD设备后先进行线上标定。在眼动视线标定过程中，因每个用户的眼睛位置、眼球特性等差异，为了保证每个用户在使用时有较好的交互体验，特别是Apple Vision Pro这样以眼动作为主要交互方式的设备中，对每个用户进行在线眼动标定是非常关键的流程。
在标定算法层面，现阶段无论是线下出厂标定算法或是线上实时标定算法，均以传统标定算法为主且标定流程比较分散，通常基于标准观测标板或是已知动作建立显性的目标函数，再通过最小二乘算法优化求解得到。
在学术研究中，也有直接基于应用算法的真实环境进行线上传统标定算法的优秀示例[2]。随着应用场景的复杂性增加及AI技术的发展，引入AI技术使传感器能够实时学习和适应环境变化，动态调整标定参数或将成为趋势。在许多学术研究中，我们已经看到了部分算法模块被AI取代并获得了不错的测试效果[3][4]，当然在将其大批量落地到产品标定之前，AI还需要先解决处理大规模数据、确保标定算法的鲁棒性、可靠性等。
此外，为满足未来自动化的要求，标定算法或将朝着更加集成更加灵活易用的方向发展，一方面需适应多种传感器及其配置，支持不同类型的传感器（如相机、IMU、激光雷达等）的联合标定；另一方面需要减少用户的投入，使用户能够轻松地完成标定过程。
总 结
XR HMD机身传感器的类型、配置选择及标定精度对设备实现高质量的追踪及感知性能至关重要。通过对传感器进行深刻的功能理解、合理的配置选择以及准确的预先标定，可以使设备在不偏离产品定位的基础上，极大地提升设备性能与用户满意度。
随着技术的不断发展，未来传感器的多元化、轻量化、智能化以及传感器标定方案的智能化、自动化将为XR领域带来更多可能性，持续推动这一领域的进步与创新。
参考资料：
[1] Mirzaei, Faraz M.. (2013). Extrinsic and intrinsic sensor calibration. Retrieved from the University Digital Conservancy, https://hdl.handle.net/11299/162506
[2] X. Chen, H. Xu, R. Wang, and T. Zhang, "VINS-Mono: A Robust and Versatile Visual-Inertial State Estimator," *IEEE Transactions on Robotics*, vol. 34, no. 4, pp. 1002-1018, 2018.
[3] T. P. K. F. et al., "Learning to Fuse Visual and Inertial Data," Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), 2020.
[4] J. Zhang et al., "Deep Neural Networks for Camera Calibration," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 42, no. 5, pp. 1234-1245, 2020.
原文始发于微信公众号（S-Dream Lab）：浅谈XR HMD机身传感器
Chinese 
English