从最小的谷歌眼镜到完全沉浸的HTC vive,用于AR/VR的头戴设备有着不同的形状和大小,其核心都是头戴式显示器 (head-mounted displays,HMDs),它由两个主要的结构件组成:光学设备和图形显示器。
在认(走)真(马)学(观)习(花)光学设备基础之前,了解人眼的性质还是很重要的。人眼的基本性质:
1、Field of View (FOV) 视场角
视场角定义为双眼看到图像的最大角度范围。人类平均而言,水平双眼视场角是200度,其中有120度的重叠,这部分重叠对于构建立体视觉和估计深度(这点后面再细讲)尤为重要,垂直的视场角约为130度。
2、Inter-pupillary distance (IPD) 瞳距
正如名字所描述的,瞳距指的就是双眼瞳孔之间的距离,在双目视觉系统中是个极其重要的参数。瞳距因人而异,性别人种之间都不一样。错误的瞳距参数可能会造成目镜校准失败、图像畸变、眼镜疲劳、头痛等不良反应。成年人瞳距平均值大概是63毫米,大多浮动在50到75毫米之间,而小孩的最小瞳距大概是40毫米。
3、Eye relief 目视离隙
目视离隙定义为:当用户能看到全视角时,眼角膜到第一个光学设备表面的距离。对于戴矫正眼镜和近视镜的人来说,这是个非常重要的参数,一般眼镜的目视离隙大约是12毫米。对于头戴显示器而言,让用户可以调整目视离隙是非常重要的。
4、Exit pupil 出射瞳
出射瞳是指,通过光学系统,光线透射到眼睛中的光圈直径。
5、Eye box眼框
目数衡量的是看物体时所需眼睛的数量,由于我们人类最多只有两只眼睛,这就使智能显示器的目数限制为最多双目。
1、Monocular display 单目
单目显示系统通过单个小的显示元件或透镜让用户在单视觉通道中进行观察,这个通道被安置在用户一只眼睛前方,用户可以完全自由地用另一只眼睛观察真实世界。单目显示系统由于体积小,通常被用作信息显示器,但不能提供立体深度信息并且会造成低对比度的情况。谷歌眼镜就是一种单目显示系统。
2、Biocular 双目单镜
双目单镜类型通过内部反射将单通道视野提供给双目观察,该显示系统同样缺乏立体视觉,适用于极近距离的观测任务。
3、Binocular 双目双镜
双目双镜类型中,每只眼睛都获得单独的视图来创建立体视觉,该类型提供了最多的深度信息和沉浸感,但同时也是最重、最复杂计算密集的显示系统。
智能眼镜中的光学设备主要有三个用途:
- 光线瞄准,使图像呈现出比真实物理距离更远
- 图像放大,使图像看起来比实际尺寸更大
- 光图传递,使图像传递到用户视野中
1、Distortion 畸变
光学系统一般有两种设计,或者说AR/VR一般有两种架构:非直视型和直视型
2、Non-pupil forming architecture 直视型
直视型由单一透镜组成,通常可以在一些流行的沉浸式设备中用到,比如HTC vive、Oculus Rift、索尼PSVR,该类型的架构通常用单个放大透镜直接对准显示板的光线。
3、Pupil forming architectures 非直视型
非直视型架构具有更轻更紧凑的设计和更大的眼框,但同时透镜也使光弯曲造成了明显的畸变,这就是枕形畸变;该类型中,通常使另一种透镜产生桶形畸变来抵消先前的畸变。一般用于非沉浸式设备,比如微软的Hololens和谷歌眼镜。
波导,顾名思义,是一种引导光线进入到用户眼睛的光学物理结构,该结构通过精巧地控制光线进出运动和内部反射的方式来达成效果。工业上使用的波导有四种:
1、Holographic waveguide 全息波导
全息波导是一种相当简单的波导类型,利用光学元件(比如透镜)通过一系列内部反射进行内耦合(进入)和外耦合(出)。索尼的Smart Eyeglass就是使用的该类型的波导。
2、Diffractive waveguide 衍射波导
衍射波导表面具有精确的起伏光栅,用于内部反射,进而通过显示屏幕实现无缝3D图形覆盖。相当一部分Vuzix显示器和微软的Hololens使用该类型的波导。
3、Polarized waveguide 偏振波导
光进入偏振波导中,通过在部分反射部分偏振面进行一系列的内部反射,选定的光波抵消(偏振)进入观众的眼睛。Lumus DK-50 AR眼镜所采用的是该方法的波导。
4、Reflective waveguide 反射波导
反射波导类似于全息波导,利用单个平面波导结合一个或多个半反射透镜。这种类型的波导可以在爱普生的Moverio和谷歌眼镜中看到。
1、Fully immersive 全沉浸型
全沉浸型都是标准的完全沉浸式VR显示器,这些立体显示器结合传感器用于跟踪位置和方向,就像《Ready Player One》书中所写的那样,它们完全挡住了用户对外部世界的视线。
2、Optical see through 光学透视型
光学透视型的智能眼镜,用户可以直接通过光学设备(比如全息波导和其他可以使图形覆盖在真实世界
中的系统)观察真实世界。该类型最新的例子有:微软Hololens、Magic Leap One、谷歌眼镜。
3、Video see through 视频透视型
视频透视型的智能眼镜,用户看到的是首先由安装在显示器上的一个或两个相机录制的现实图像,然后这些相机得到的图像与计算机生成的图像结合起来,供用户观看。HTC的Vive VR头盔有一个内置相机通常用于在设备上创造AR效果。
成像显示技术在过去几十年有了很大的进步,高端的阴极射线显像管已经被四种关键的成像技术所取代:
1、Liquid Crystal Displays (LCD) 液晶显示屏
液晶显示屏(LCD)在高清电视中很常见,并且自从20世纪80年代以来就用于AR/VR中。该类型由包含液晶分子的单元阵列组成,单元阵列位于两个偏振片之间。这个精密的装置位于数百万个晶体管印刷的薄玻璃基底之间。对于彩色液晶显示屏(LCD),将包含红、绿、蓝滤光片的附加基底放置在原基底每个单元上。单个RGB液晶单元被称为子像素,三个子像素形成一个像素。
液晶显示屏(LCD)中,电流会通过玻璃基底,通过改变电流可以调节光的通道,从而产生一种精确的颜色;如果所有的子像素通道都完全打开,就会呈现出白色光。
液晶单元本身不发光,因此需要背光,液晶单元只能改变光通道以产生所需的颜色进而产生图像。
2、有机发光二极管屏
有机发光二极管屏(OLED)基于有机(碳和氢相结合)材料,当施加电流时就会发光,是一种固态显示技术,能量通过有机薄片以光的形式释放出来,也被称为电致发光。可以通过仔细地包装有机发光(薄膜)来控制颜色,不过大多数制造商都在有机发光二极管屏(OLED)栈列中添加红色、绿色、蓝色薄膜。有机发光二极管(OLED)的面板有两种类型:
(1)被动驱动式有机发光二极管:与阴极射线显像管一样,该类型由复杂的电子网格组成,以按顺序控制每行中的各个像素。它不包含存储电容器,使更新速度变慢,并且保持像素状态时高功耗,因此主要用于简单字符和图标显
示。
(2)主动驱动式有机发光二极管:与被动驱动式(POLED)不同,主动驱动式有机发光二极管(AOLED)由一个薄晶体管层组成,该晶体管层包含一个存储电容器,以保持每个子像素的状态,从而更好地控制单个像素。对于主动驱动式(AOLED)而言,可以完全关闭单个像素,从而实现更深的黑色以及更高的对比度,这些都是近眼虚拟和增强现实设备最合适的显示类型。
有机发光二极管屏(OLED)要远远优于液晶显示屏(LCD),由于不需要外部背光,因此它们的结构相对简单,并且可以非常薄。除此之外,它们消耗的功率大大减少,刷新速度更快,对比度更高,色彩还原效果更好,分辨率更高,因此大多数完全沉浸式头戴设备都使用此技术。
3、数字光投影微显示屏
数字光投影微显示屏(DLP)芯片最初由德州仪器研发,也称为数字微镜器件(DMD)。该显示器由大约200万个单独控制的微镜组成,每个微镜可用于表示单个像素,这些微镜中的每一个的尺寸约为5.4微米。这些显示屏有趣之处在于,眼睛的视网膜本身就是显示面。RGB光在这些微镜上反射,这些微镜朝向或远离光源倾斜。由于每面微镜在一秒钟内可以向任意方向改变数千次方向,因此改变反射的颜色可以在视网膜上产生不同的阴影。
数字光投影微显示屏(DLP)是目前最快的显示技术之一,该技术具有高色彩刷新率、低延迟、低功耗和超高分辨率(0.3英寸的对角线阵列可以实现1280 x 720的图像),因此成为制作头戴式显示器的理想选择。
4、硅基液晶微显示屏
硅基液晶微显示屏(LCoS)显示介于液晶显示屏(LCD)和数字光投影微显示屏(DLP)显示之间。液晶显示屏(LCD)是一种透射技术,图像生成并传输给用户,而数字光投影微显示屏(DLP)是一种反射技术,单个子像素通过微镜反射。硅基液晶微显示屏(LCoS)利用光源通过反射表面,光线反射时,它会通过一系列子滤镜来调制光强度和颜色。类似于DLP显示器,小尺寸的属性使得它们在与小型设备集成时具有相当大的灵活性。微软的Hololens,谷歌眼镜,甚至还有Magic Leap One都使用了硅基液晶微显示屏(LCoS)。
考虑到正在开发的显示技术都具有极高的分辨率,基于平板的头戴式显示器可能会成为AR设备的历史。欢迎大家积极讨论哦~
原文始发于微信公众号(三次方AIRX):一文了解AR/VR显示技术基础