编译/VR陀螺
近日,英伟达研究团队公布人形机器人全身控制模型SONIC,相关论文已发表于《Science Robotics》。该模型旨在通过单一控制器学习并执行多种人体动作,并可直接接收VR遥操作、视频动作输入以及视觉-语言-动作(VLA)模型等不同上层控制信号,无需针对不同输入方式重新训练,从而减少人形机器人针对不同技能分别开发控制策略的需求。

英伟达研究员Yuke Zhu表示,目前人形机器人通常需要针对不同动作单独训练控制器,较难扩展。SONIC则被设计为一种通用全身控制模型,可将高层运动目标转换为机器人全身关节能够执行的连续动作。
据介绍,SONIC基于超过1亿帧人体动作数据进行训练,使模型能够学习较为丰富的运动模式,而非针对单一任务进行训练。研究团队随后在物理仿真环境中测试了行走、运动和操作等多类场景,其中还包括训练数据中未出现过的动作。

测试结果显示,SONIC能够使用同一套模型生成多种较为自然、稳定的全身动作,并具备一定的动作泛化能力。研究团队还验证了SONIC对不同上层输入方式的适配能力,包括VR遥操作、视频动作输入以及VLA模型,且无需针对不同输入重新训练控制器。
这意味着SONIC可以作为机器人底层“运动系统”,接收来自不同控制方式或AI模型的指令,并将其转换为具体的全身运动。在实验中,研究人员还将SONIC与其他系统结合,实现机器人远程遥操作以及将文字指令转化为机器人动作。
英伟达表示,该模型未来可应用于制造、仓储、物流等需要机器人执行多种物理任务的场景,并作为更高层AI模型与机器人执行系统之间的通用运动基础。

目前,团队仍在继续改进SONIC,包括增强模型对周围环境的感知能力,以降低碰撞风险,并提升其在动态环境及不平整地形中的导航能力。此外,研究方向还包括复杂接触操作、Sim-to-Real迁移以及真实环境下的稳定性。
后续,英伟达计划进一步将SONIC与NVIDIA Isaac GR00T整合,使人形机器人能够结合上层推理能力与通用全身控制能力,执行更复杂的任务。
来源:techxplore









