随着元宇宙概念的火热,已经过去了一年多VR可以说,设备迎来了它“第三春”扎克伯格于2021年11月facebook会议提出改名meta,并将公司的主营业务转向元宇宙,尽管据统计Meta与元宇宙有关的业务“现实实验室”总净亏损高达160亿美元,扎克伯格依然充满信心,本月将推出新车型VR头部显示,帮助用户获得“社交存在”体验感。
最近在一篇讨论中QuestSim在新论文中,Meta旗下RealityLabs研究人员展示了一项新的研究——一个由神经网络驱动的系统,即使用之前收集的跟踪数据进行训练AI,以尽可能合理和正确的方式模拟虚拟身体运动。解决现阶段的问题VR设备只能跟踪头部和手部的动作,而不能纠正腿部的情况。
Meta团队使用人工生成的传感器数据进行训练QuestSimAI,训练后的QuestSim现实世界中的头显和控制器数据可以用来识别一个人正在做的动作,而腿部区域没有实时传感器,AI全身运动将通过学习模拟合成动作来模拟。这也代表了这项研究的特点Quest2头显+控制器的跟踪数据可以更合理地估计佩戴者的全身姿势,而无需额外的跟踪器/外部传感器。
Meta研究人员甚至声称,由此产生的准确性和抖动优于可穿戴型IMU跟踪器。
当然,这种技术还存在一些不足,可能无法准确地恢复用户的实际姿态。QuestSim虽然适用于不同体型的人,但是当角色不断偏离用户时,可能会变得很难跟上动作。
Meta研究小组表明,只有传感器数据来自头部显示AI预测的结合足以产生一个可信一个可信和正确的虚拟化身。并希望在训练中整合更详细的骨骼和身体形状信息,以提高化身的运动多样性。
至于这个系统是否放置,什么时候放置?Quest2头显上,暂时还是一个未知数。Meta首席技术官AndrewBosworth在一个互动问答活动中,暗示道“
事实上,我们经常因为没有腿的化身而被嘲笑,但我认为每个人的吐槽都是相当公平和有趣的。
毕竟,将个人虚拟化身与现实不匹配的腿匹配,可能会让用户感到非常不安。
但是如果把腿放在别人的虚拟化身上,就不会有这方面的烦恼。
感兴趣的朋友,可以关注MetaConnect年度AR/VR活动期间的详细公告。
(责任编辑:xp)