Meta公布新模型AGRoL,有望让Avatar“长出”双腿

IP归属:广东

编译/VR陀螺

目前VR一体机的追踪系统只能追踪用户的头部和手部位置,此外它还可以借助称之为反向运动学(IK)的算法来预测用户的肘部和躯干等位置信息。不过对于腿部动作预测目前还缺少行之有效的预测算法,所以很多VR软件的Avatar通常只能显示上半身,如果想要实现全身追踪,则需要进一步引入tracker等外部追踪器。

为了解决这一问题,去年9月,Meta AI研究人员公布了一个称之为QuestSim的经过强化学习训练的神经网络,它支持仅通过Quest 2头显及其手柄的追踪数据来预测一个合理的全身姿势。

不过QuestSim还存在不少问题,如它的时延为160毫秒,在72Hz运行时仅有11帧。此外,它只适合用来查看别人的分身,而不适合看自己的。此外,Meta的研究论文中并没有提及运行QuestSim所需的性能要求。

最近,Meta AI研究人员发布了一篇名为Avatars Grow Legs(AGRoL)的新论文,里面展示了一个依靠算法实现全身追踪的方法,论文中指出他们实现了“最先进的性能”,并且对于硬件依赖要小于以往的算法。

AGRoL是一种扩散模型,它有点类似于最近的Stable Diffusion、DALL·E 2等AI图像生成系统。

图源:Meta

研究人员表示,AGRoL可在NVIDIA V100上实时运行,运行速度约为41FPS。虽然NVIDIA V100是一个价值15000美元的GPU,但这通常是机器学习算法开始运行时所必须的,或许经过未来几年的优化和改进,该算法将能适用于智能手机设备,此前的Google Assistant和Siri正是由此发展而来的。

不过当前并没有迹象表明AGRoL将何时用于Meta Quest系列产品中,Meta宣布其Avatar系统将于今年获得腿部支持,里面可能性更大的是用户将能看到别的Avatar的腿部动作,而非自己的。

来源:UploadVR

陀螺科技现已开放专栏入驻,详情请见入驻指南: https://www.tuoluo.cn/article/detail-27547.html

VR陀螺专栏: https://www.tuoluo.cn/columns/author1286744/

本文网址: https://www.tuoluo.cn/article/detail-10107159.html

免责声明:
1、本文版权归原作者所有,仅代表作者本人观点,不代表陀螺科技观点或立场。
2、如发现文章、图片等侵权行为,侵权责任将由作者本人承担。

相关文章