AR/VR沉浸感的实现除了视觉体验之外,容易被忽略的一点是音频的呈现。近日雷鸟开售的全新一代XR眼镜——Air 1S着重提到了优秀的音质表现,在业内首次搭载了超线性单元 0.5mm 冲程的扬声器,带来更具空间感的立体音场,提升身临其境感。
随着我们在数字空间中花费的时间越来越多,用户希望在这些空间中获得更多自然体验,而提供逼真的声音至关重要。支持 VR 和 AR 的声音一直是该行业面临的挑战。
来源:雷朋
我们通过感官感知物质世界,而我们的感官不是静止的。他们对我们所处的环境做出反应,即使是以我们没有意识到的方式。然而,我们确实在某种程度上注意到,当虚拟环境的元素以人类思维记录的方式做出某种不自然的反应时,即在支持 AR 或 VR 的环境中,用户期望逼真并在没有得到它注意时,我们得到了“恐怖谷”的感觉。在 VR 和 AR 中,我们需要构建能够更好地反映我们习惯的人与人和人与环境的联系的体验。
在讨论 AR 和 VR 的实际应用时,经常会出现音乐会和体育赛事等现场活动。在这些环境中,声音以其自然的动态特性成为体验的核心元素。部分体验取决于用户相对于声源(舞台、运动场、扬声器等)的位置。
除了娱乐之外,还有一些商业应用需要探索。AR 和 VR 可以为竞技场活动做些什么,它们也可以为会议做些什么。会议体验通常比网络研讨会更有吸引力和令人愉快是有原因的,从 3D、多房间空间获得的动态音频就是这些原因之一。
行业领导者谈到了 AR 和 VR 如何在试用产品时增强购物体验。消费者可能想听听它在不同距离或在蓝牙扬声器可以派上用场的各种空间中的声音。消费者可能想知道它在沙滩上的声音是否和在淋浴时聆听时一样好。
随着企业和创作者学习如何实现,逼真的音频正在 VR 和 AR 中扩展。AR/VR 技术通过引入两个主要组件来工作:模拟身临其境的声音环境(即模拟耳朵在穿过真实的小房间、大厅、城市场景、荒野环境等时会听到的声音),以及噪声抑制和人声提取。
空间音景旨在创造更引人入胜和身临其境的体验。然而,今天在实施有效的空间音景方面存在技术挑战。最重要的是延迟。
音频延迟是音频到达耳机所需的时间。在音频和视频通信同时交付给最终用户的数字世界中,任何延迟都会导致诸如不同步等复杂情况。例如,在游戏中,爆炸或汽车引擎在与视觉效果不同步的弯道上倾斜,使游戏玩家脱离了沉浸式体验的意图。就像在为工作协作而创建的数字虚拟环境中一样,任何延迟都会破坏与同事之间预期的人与人之间的联系。
克服这一挑战需要使用位于个人互联网之上的实时网络,并且可以在全球范围内提供广泛的覆盖范围。人工智能算法可以实时监控这些网络并自动选择最有效的路由路径,提供 400 毫秒或更短的超低延迟。
身临其境的音景是通过利用多种人工智能技术来解决背景噪音问题而产生的。这项技术已经被用于游戏、社交媒体和工作场所通信。降噪耳机可以帮助听众调节接收端的音景,但人工智能驱动的解决方案也可以消除音频源端分散注意力的噪音。总之,这项技术可以通过消除两端的影响来为用户提供最先进的体验,否则会使声音体验看起来错位。
当我们成功地让音频和视频在虚拟环境中自然交互时,我们就可以向新的受众开放 AR/VR 市场。许多消费者仍然对探索比表面更深的虚拟空间持谨慎态度。坦率地说,很多人发现不太复杂的 AR/VR 体验带来的“恐怖谷”效应实在是不容忽视。人工智能正在引领创造者和企业走出那个山谷。
艾邦建有AR/VR产业链微信群,目前有HTC、PICO、OPPO、亮亮视野、光粒科技、影创、创维、佳视、谷东科技、歌尔、立讯精密、多哚(纳立多)、欣旺达、乐镜、耐德佳、联创电子、至格科技、灵犀微光、惠牛科技、舜宇光学、广景视睿、珑璟光电、水晶光电、京东方、海信视像、科煦智能、阿科玛、金发科技、雅柏工程材料、思立可、新安天玉、四方超轻、大族激光、发那科、承熹机电等加入,也欢迎大家长按下方图片识别二维码加入微信群:
品牌 材料 工艺 设备
11月18日 上海卓越铂尔曼大酒店
序号 |
议题 |
演讲嘉宾 |
1 |
AR/VR行业市场现状及未来趋势 |
创维VR |
2 |
消费级AR/VR产品的技术难点(待定) |
亮亮视野 梁祥龙 联合创始人/硬件负责人 |
3 |
纳米压印技术应用于AR光栅制作 |
光舵微纳 |
4 |
AR光波导技术剖析 |
珑璟光电 市场经理 郑玺岳 |
5 |
VR Pancake 光学的挑战与量产 |
惠牛科技 CEO 张韦韪 |
6 |
PC材料解决方案在VR上的应用 |
科思创 薛茂刚 产品技术专家 |
7 |
一站式测试解决方案为AR&VR行业产品质量保驾护航 |
艾特迅 |
8 |
Bostik智能胶粘剂助力ARVR智能头显 |
波士胶Bostik |
9 |
纳米压印技术在AR光栅上的应用 |
天仁微纳 |
10 |
自由控制AR眼镜透光率 —— 电致变色技术现状与趋势 |
苏州伯宇光电科技有限公司 |
11 |
AR/VR镜片光学曲面贴膜解决方案 |
鼎力科技 研发副总 |
12 |
光谱检测在消费电子行业的应用 |
海洋光学 张跃胜 工业市场&大客户经理 |
13 |
微显示技术在AR/VR上的研究与发展 |
邀请中 |
14 |
ODM在产业链中地位和作用 |
邀请中 |
15 |
AR/VR外壳/镜片等关键零组件加工工艺解析 |
邀请中 |
16 |
ARVR头戴设备自动化组装设备介绍 |
邀请中 |
更多议题请联系艾路路:15817337805(同微信)
https://www.aibang360.com/m/100121?ref=197094
原文始发于微信公众号(艾邦VR产业资讯):声音正在成为 AR/VR 沉浸感中越来越重要的组成部分