马耀光团队在《ACS Photonics》报道AI增强的折超混合AR近眼显示技术

研究成果概述

近日，浙江大学光电科学与工程学院、极端光学技术与仪器全国重点实验室马耀光研究员的纳米光学研究团队在微型AR眼镜领域取得了新进展。团队提出并制作出了一种神经网络赋能的折超混合AR投影系统。该系统利用折射透镜和超透镜联合设计的透镜组为元件，实现了低于7.7 mm的系统长度，满足集成化的要求。同时，MRL实现了宽30°的成像视场，最大畸变低于2%，匹配波导玻璃的耦合入射角要求，实现了AR眼镜的初步组装及实验。在成像阶段，团队还创新性地引入了基于神经网络的预处理方法，进一步由于组装，加工误差等要素导致的像差，最终实验测试得到了一个高图像相似度的AR投影结果。

相关研究成果以 " Hybrid meta-optics enabled compact augmented reality display with computational image reinforcement" 为题发表在SCI一区光学期刊《ACS Photonics》上。

研究背景

近年来，超表面器件基于它操纵波前、偏振和其他光学性质的卓越能力，展现了压缩光学系统的极大潜能。利用超表面来进行AR系统的集成化设计的研究层出不穷，其中对于AR眼镜来说对系统长度影响最大的便是其投影系统的长度。对此，基于超透镜的成像系统受到了人们的大量关注。然而，单纯的超透镜设计面临着视场小，色散难校准，口径参数难以做大的问题。而利用Meta/折射混合透镜(MRL)设计，结合了折射透镜成熟的设计和生产技术，以及超表面提供的灵活的调制自由度，可以最大限度地减少系统长度和使用的透镜组件数量，同时保持图像质量，成为当前超透镜集成化设计的一个较好的解决方案。

团队提出了一种结合非球面超透镜和折射透镜的设计的MRL。MRL的设计严格遵循光学设计的标准，考虑了调制传递函数(MTF)、整个工作波长范围内的空间频率(SF)分布和全视场(FOV)等关键参数。这些考虑确保了MRL在目标视场下的高分辨率成像质量和消色差带宽。此外，设计过程中考虑了MRL的相对照度(RI)，以实现显示图像的均匀投影。基于绿光microLED的带宽，像素大小及面积的联合设计，我们实现了在发光带宽范围（中心波长525nm，带宽25nm）内消色差设计，低于7.7 mm的系统长度，同时在宽30°视场范围最小的轴外像差，畸变低于2%。

团队将设计得到的MRL与波导玻璃进行组装，实现了一个AR眼镜的成像结果。并针对透镜加工和系统装配对准过程中能出现的剩余像差，提出通过神经网络进一步增强。该神经网络使用包含光学系统信息的PSF数据库进行训练，实现一个包含像差信息的解卷积效果。基于这一点，团队创新性地提出，可以利用训练好的神经网络对原图进行预处理，从而增强投影图像的精细细节和增加结构相似指数(SSIM)，有效地处理了系统的固有剩余像差。

研究亮点

团队基于非球面超透镜和折射透镜的联合设计得到了针对绿光microLED消色差，视场角30°范围内消轴外像差的MRL镜组，并引入了一种新型的神经网络预处理方法来增强图像质量（图1a）。通过和波导玻璃的集成，实现了亮度均匀，分辨率较高的AR眼镜的成像结果（图1b, c）。

MRL的设计基于FDTD和Zemax的联合优化来实现。其中，像面代表了实际microLED放置的光源面，其像素分辨率为640×480，屏幕尺寸为2.56 mm×1.92 mm。在这一硬件条件下尽量压缩系统长度，并保证出射的角度和后续波导玻璃的视场角匹配，最终优化得到了7.7mm的系统长度，对应视场角30°（图1d）。在此基础上，针对microLED的工作带宽，我们对不同的波长进行不同的相位轮廓拟合（图1e）。可以发现，针对此时的口径要求（D=3.2mm），非球面超透镜边缘处的群延时要求远超过meta-atom可以实现的色散补偿（图1f,g）。因此，基于离散参考相位的消色差优化更为适用：

基于这一消色差优化的目标，团队选取合适的meta-atom对相位轮廓进行拟合。实验选用可见光波段呈高折射的Si3N4作为材料，仿真了其在30°视场角下的相位响应及波长响应（图2a）。再将电磁仿真的结果代入光学系统中，计算了此时在不同视场角下的MTF-空间频率（SF）分布图（图2b）。发现此时针对microLED的带宽和像素分辨率，MRL实现了在对应SF=25 lp/mm下MTF>0.5的高分辨率（图2c）。在此基础上，团队计算了对应的SF-λ和MTF-λ的分布图（图2d和2c）。针对不同的分辨率标准，分别计算得到20nm和25nm的MRL的工作带宽，均大于microLED的半高全宽，实现了高分辨率的消色差成像结果。观察各个视场角下的PSF可以发现，此时各个焦点的相对照度（RI）亦非常均匀，达到了平均RI>0.8的均匀亮度值（图2f）。而全视场的畸变值也均小于2%，表现出优越的光学性能。

在光学设计的基础上，团队加工制造了对应的超透镜样品（图3a, 3b）和非球面透镜，并利用精密位移台组装得到了MRL的测试样机，并进行了投影测试（图3c, 3d）。在分辨率板的显示下，不同视场角下的亮度及分辨率均达到了设计的要求（图3e, 3f）。为了更加清晰地表征不同视场角下的像差分布，团队同时测试了全视场PSF图（图3g），发现在高视场角下的畸变开始变得明显，但依然表现出较好的聚焦质量（图3h, 3i）。基于投影结果，团队将MRL与波导玻璃进行耦合集成，实现了一个AR眼镜的初步装配及其成像结果（图3j, 3k）。在真实环境下，成像的亮度，对比度及分辨率都是可以接受的。

而在装配过程中，通常会遇到由于加工误差，装配误差导致的剩余像差。这一类的像差难以通过硬件进行补充，因此神经网络赋能的计算增强就成为了最为合适的处理方法。基于实验测试得到的像差分布（图4a），团队利用实测图和实测PSF的生成图进行训练集的建立，基于增强型超分辨对抗生成神经网络（ESRGAN）训练得到一个高质量的恢复图像（图4b）。基于PSF的信息提取强化了网络的解卷积能力（图4c）。从而，团队创新型地提出，可以直接将原图输入网络，进行预解卷积，在光源处将像差处理考虑在内，从而实现“重投影”图像的分辨率增强。在进行图像增强处理时，先将波导玻璃撤下，直接利用工业相机采集，得到最为精准的像差分布（图4d）。利用这一方法，团队实现了重投影图像的图像相似度（SSIM及PSNR的双重指标）的提高，实现了对剩余像差的进一步处理，验证了这一方法的可行性（图4e）。

总结与展望

综上所述，团队成功开发了一种在宽视场，低系统长度下消像差的折超混合的MRL投影系统。同时利用一个硬件启发的端到端优化神经网络来处理AR眼镜的剩余像差。这一新型器件能够有效地提高光学系统的成品率，从而降低制造和装配成本。对于未来的AR投影设备，如混合现实(XR)眼镜、HUD、激光电视和投影仪，这种方法在有限的设计条件下提供了有价值的图像增强途径。随着高性能消色差超构透镜设计的落地集成，该系统可以在未来进一步扩展到RGB microLED的全彩显示应用中。这类超表面和折射透镜混合系统将促进软件和硬件的联合设计，从而推动新一代AR眼镜的实现。

论文/作者信息

该论文的完成单位为浙江大学光电科学与工程学院、极端光学技术与仪器全国重点实验室、杭州国际科创中心、浙江大学嘉兴研究院智能光电创新中心。论文通讯作者为马耀光研究员，第一作者为博士生陈琦凯。硕士生周佳成也为论文工作作出了重要贡献。该研究得到了国家自然科学基金优青项目和浙江省自然科学基金杰青项目的资助。

论文链接