如果你熟悉 VR(Virtual Reality虚拟现实),那么你可能听说过 AR(Augmented Reality增强现实),如果你真的处于最前沿,你甚至可能知道 MR(Mixed Reality融合现实)。所有这些技术现在都非常流行。这篇文章就带大家深度理解下这些不同类型设备的区别,尤其是AR与MR的核心区别。 简单回顾下VR的概念和特点,VR可以构建一个完全虚拟的三维世界,提供用户视觉等感官的模拟,让用户感觉身临其境,可以即时、没有限制地观察三维空间内的事物。VR是超越传统屏幕的一步,是一种 360 度的体验, 可以将视频想象成一个球体,使用者处于这个“视频球体”的中心。然后,在戴上VR头显之后,用户和身边环境没有任何交互,因为这一特点,VR的软件应用有一定局限性。
VR设备提供的虚拟三维环境效果 图源:vrfitnessinsider.com
VR的体验是完全沉浸式的,若想把虚拟三维世界和身边真实世界做到“虚实结合”,那么就需要引入AR和MR这两个的概念。
AR AR
增强现实(Augmented Reality,简称 AR),是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。 -- Wikipedia
简单来说就是——你透过AR眼镜的镜片看到的世界是真实的世界,类似于带了一个墨镜,但在此基础上通过计算生成的各种数字信息(文字、图像、视频)会从发光源通过光波导展示在镜片上,从而进入用户眼中。数字信息是对真实环境的“增强”,让人们更方便、更直观地获取物理世界的数字信息。理想状态下的AR眼镜将会根据语音、眼神、手势等交互方式个性化展示给用户所观察对象的数字信息。目前人类获取所观察对象的数字信息的习惯是拿出手机,登陆互联网,通过各式各样的APP与数字世界互动,数字世界和物理世界并未完美的结合,未来等AR的技术成熟后,戴上AR眼镜的人类将不会有掏出手机打字这一动作,所以AR的终局是替代手机,其移动属性和数字增强这两大特点会给人类的生活带来翻天覆地的变化。
AR眼镜在博物馆的应用 图源:ARway AR眼镜可以成为你约会时候的“僚机” 图源:Meta Sight from YouTube
目前AR眼镜形状各异,主要有3种类别的AR眼镜:1. 仅有简单显示功能;2. 显示+一定空间感知交互能力;3. 显示+强空间感知能力+用户感知能力+多种交互能力。仅有简单显示功能的眼镜的优势是可以做到非常轻巧美观,代表作是Google Glass。而超强空间感知能力的AR眼镜因为要在设备上增添多种传感器,再加上功耗需求提升被迫提高电池大小,及增加散热模块,所以这类AR眼镜就显得非常笨重,佩戴舒适感不佳,Hololens是这类AR眼镜的代表。AR眼镜如何做到轻巧美观且功能强大是AR厂商的长期追求目标,这不仅需要极强产品设计能力,且组件技术需要有革命性进步。AR眼镜包含以下核心组件:玻璃镜片、光源投影、光波导、DOF传感器、眼球追踪传感器、前置摄像头、芯片、电池。
AR眼镜拆解 图源:AZoOptics
AR设备中的光学显示系统比较重要,是不同于VR/MR设备的关键区别。光学显示系统包括光源(显示器)和光学元件(透镜)。AR的光学系统工作原理是将显示器上的图像投影到用户前方的镜片上,与当前真实环境相叠加。
(a) 虚拟现实(VR)近眼显示系统的示意图 (b) 增强现实(AR)近眼显示系统的示意图 图源:BOE知识酷
AR眼镜的显示系统采用各种微型显示屏,以及棱镜、自由曲面、BirdBath、光波导等光学元件的组合。其中,光学组合器的不同组合方式是区分AR光学显示系统的关键因素,这些不同的组合会达到不同的:价格、体积、重量、视场角、色彩、亮度、功耗、外界透光率等产品指标。微型显示屏是AR眼镜中提供显示内容的关键元件。它可以是自发光的有源器件,例如发光二极管面板,如micro-OLED、micro-LED,也可以是需要外部光源照明的液晶显示屏(包括透射式的LCD和反射式的LCOS)。此外,还有基于微机电系统(MEMS)技术的数字微镜阵列(DMD, 即DLP的核心)和激光束扫描仪(LBS)等其他技术。具体使用哪种组合需要AR眼镜设计者根据目标用户需求和市场定位来权衡取舍。目前还没有出现一种广泛应用的光学显示方案,各个厂家的光学显示方案在百花齐放的状态,说明该领域还有很大的发展空间。 APPLICATIONS AR光学系统 在现实世界中的应用
AR技术的日渐成熟,推动了汽车抬头显示器的创新,AR-HUD 将AR与HUD相结合,仍以挡风玻璃为媒介,但所生成的图像能在更大,更远的距离进行投射(FOV更大),提升人机交互体验、减少之前C-HUD的投射范围小、距离近、容易引发车祸的弊病。无论是之前阶段的C-HUD、W-HUD,还是现在的AR-HUD,都受到了车厂的推崇,是汽车智能座舱重要的组成部分,也是汽车核心卖点之一。
图源:Texas Instruments
除此以外,AR的发展还能用于以下场景:
(1)医学辅助手术操作和指导:
2023年1月10日,瑞士骨科企业Medacta宣布,第一批利用其NextAR增强现实手术平台的手术在日本顺利完成。NextAR是第一个为关节置换和脊柱手术提供个性化增强现实解决方案的手术平台,它利用患者在手术中的实时数据,有效地对手术流程进行了补充。
图源:Medacta官网
(2)日常导航 (3)翻译设备 (4)用于战场辅助士兵及指挥作战 (5)工业应用 (6)辅助建筑设计、室内设计等 (7)教育培训 (8)娱乐项目(例如游戏、表演等) (9)文旅、展览等
MR MR
混合现实(MR)中的“现实”是由摄像头捕捉的画面信息组成的。这些信息产生了一种具有“欺骗性”的视觉效果,使人难以分辨真实环境和基于现实环境重新建模的虚拟环境。
MR混合现实技术可以通过专用的头戴式设备或其他智能终端,将虚拟的数字内容投射到用户的视野中,同时也可以实时感知用户的动作和环境,并对其做出响应,让用户感觉自己身临其境。MR头显其实就是在VR头显的基础上增加视频穿透(VST)技术实现虚实交互,这是MR与AR的核心区别,通过摄像头将外部环境的光学信息转化为数字信息,并与虚拟世界的数字信息融合,实现虚实数字结合,产生一个全新的视觉信息给到人眼中。
光学穿透(OST)vs 视频穿透(VST) 图源:Niteesh Yadav
因为MR设备中的各类传感器的数字信息比较多,需要的计算量大,且显示屏离用户眼睛的距离比较近,很容易观察到瑕疵,所以一旦设备管线中的数字信息处理不完美,就很容易造成眩晕感,需要高度集成和精确的跟踪、定位、渲染、显示技术和XR专用芯片来破解眩晕这一核心痛点。另一个核心痛点是舒适性和佩戴体验。MR眼镜需要具有轻巧、舒适、透气、易调整等特点,以便长时间佩戴。最后由于需要高度集成和精密技术,以及高品质的材料和设计,MR眼镜通常价格较高。此外,目前MR市场还处于早期,相信随着市场规模的扩大和成本的降低,更多的用户会接受和采用MR眼镜。既然痛点比较多,为何XR厂商还在不停推出各自的MR设备呢?让我们来对比下AR和MR的显示效果图。
AR眼镜显示效果 图源:Lynx
图为通过AR眼镜看到的虚实结合效果,可以看出AR眼镜无法显示黑色,因为虚拟成像是在玻璃镜片上的,另外目前由于光学元器件的限制、AR的FOV(视场角)比较小,最后是虚拟图像和现实物品的位置关系不佳,图像是“悬浮”在人手上的。AR眼镜的优势是可以无延迟看到真实场景,且体积重量一般控制的比较好,佩戴起来比较舒服。
MR显示效果 图源:Lynx
图为MR的虚实结合显示效果,所看到的画面都是通过VST(视频穿透式)呈现的虚拟画面,所有手和环境的位置关系是正确合理的,视场角(FOV)和黑色也都有不错的展示,但MR头显的劣势是头显较重,如果延迟做的不佳,佩戴起来可能会有眩晕。
通过对比,不难发现,当前的MR设备的虚实结合显示效果更为出色,但移动属性及安全性不如AR眼镜,所以当前市场上VR/MR设备主打2C场景,而AR设备主打2B场景的原因也可以理解了。当然未来随着AR和MR各自技术的进步,MR的延迟降低、AR的虚实交互能力提升,可能会打破其2B2C的市场格局。
APPLICATIONS MR混合现实的应用
随着技术的不断发展,许多领域已经不再仅仅满足于VR、AR的显示方式,更加倾向于能够交互的、更真实的MR技术。MR技术已经拥有十分广泛的应用前景,可以帮助用户更好地处理复杂数据核问题,提高工作学习效率。之前的一篇“MR的应用场景:想象力的极限”一文中提到过许多MR的应用场景。
(点击标题查看文章)
-
游戏娱乐
-
教育培训
-
医疗保健
-
工业制造
-
建筑地产
不同的应用场景需要不同的 MR 技术和设备,因此投入成本也会有所不同,用于游戏和娱乐的 MR 技术投入成本可能较低,而用于医疗、教育和工业应用的 MR 技术投入成本可能较高。但MR技术的发展和应用必定是未来的趋势。
OPINION
我们的看法
未来的技术发展必将重塑人类与数字世界、真实世界的互动方式。其中,MR和AR技术作为现实世界与虚拟世界交汇的重要载体,将开辟全新的数字时代。AR技术的移动属性将使其成为主流移动终端,实现个人或群体的立体交互和信息传递;而MR技术的全真虚实体验则能够在虚拟空间中与人进行远程互动,布置多块大屏,提高信息交互度。这些新兴技术的推动将带来更为灵活、自由、豁达的数字生活方式和数字生产方式,更好地满足各行各业的需求,突破目前社会生产和娱乐模式的固有局限。
主流电子设备的发展趋势
但AR和MR技术还有很大的提升空间,需要多个领域的技术发展,同时还需要进行大量的算法优化和设计工作。作为下一代主流消费电子设备,其专用芯片的出现将是必然,正如电脑时代的Intel,手机时代的ARM。万有引力作为一家XR(AR/VR/MR)芯片公司力求为客户实现更好的XR产品体验。只要我们坚持不懈地追求技术创新和进步,XR改变人类世界的梦想很快就能成为现实。
我们期待着这样的未来。
原文始发于微信公众号(万有引力GravityXR):AR与MR的区别与其适合的应用