之前的虚拟化身是没有下半身的,就像是一只无腿幽灵游荡在空中,当然,隔壁的微软也是这样。从 Meta (Facebook) 到微软,都不约而同地选择放弃腿以换取更流畅的用户体验。
是的。
如果想在虚拟设备中呈现灵活的双腿,先要感知腿在现实中的一举一动。
但实际上,在大多数混合现实环境中,没有用于腿部运动的传感器和控制器。虚拟设备配备的摄像头由于视线追踪范围有限,仅通过耳机很难捕捉到用户的腿部动作,甚至有时腹部可能会挡住头显上的摄像头的视线,这使得操纵化身并推断出正确的腿部运动变成一项极具挑战的任务。
尽管用户们一直在期待一个完整的沉浸式体验,但我们必须承认,使用一体式头显呈现身体的每一个动作,就目前的技术而言,还做不到。
那些游荡在 Horizon Worlds中的「无腿怪」能够无聊闲逛、玩游戏、交朋友,虽然看着简单,却也算得上是技术上的一次巨大飞跃了。
事实上,能实现这种技术的公司,寥寥无几。
国外大厂一路升级,国内科技公司也在潜心突破。
Realmax的明星AR产品「乾」在119.5°的超大视场角和裸手交互的基础上,潜心攻克底层算法,实现了实时动态采集技术。
我们通过RealMax乾的手势捕捉与头部6Dof获取精确的空间数据与行为数据,结合逆向运动学(IK)自研算法推演出人的行为动作,进而使虚拟人模拟其动作,以达到使虚拟化身自然运动的目的,不论是弯腰、跳跃还是行走、抓取、点头,都可以流畅地表现出来。
为了让虚拟化身的面部表情更加生动自然,我们还通过实时语音采集系统,以声量大小、声调变化以及频率来优化虚拟化身的口型,使虚拟化身口型更同步更逼真。
此外,为了保证每个虚拟化身的独特性,我们研发了外观生成的系统,用户不仅可以选择拍摄照片快速生成虚拟化身、也可以定制次世代建模,还可以根据场景直接由AI算法生成,但无论是哪种,都能消除千篇一律的虚拟人长相,快速构建独具个人风采的虚拟化身。
原文始发于微信公众号(RealMax科技):和META比腿?——REALMAX元宇宙踏入现实