编译/VR陀螺
近日,德国纽伦堡工业大学、慕尼黑工业大学及西门子联合研究团队在arXiv平台发表题为《RUMI: A Robotiq-Matched Universal Manipulation Interface for Robot Learning with Augmented Reality and Haptic Feedback》的论文,提出一种融合VR头显追踪、AR实时反馈及触觉交互的机器人操作数据采集系统RUMI,旨在提高机器人示教过程中的动作可行性,并支持力觉数据采集。
据了解,机器人执行抓取、搬运等操作时,需要精确控制与物体接触的作用力,但目前具备力觉信息的大规模机器人训练数据仍较为有限。现有手持式示教设备虽然能够采集操作过程中的受力信息,但多数针对简单的线性夹爪设计,难以匹配实际机器人夹爪的复杂运动结构。

RUMI采用与Robotiq 2F-85机器人夹爪相匹配的手持式操作接口,并配备可更换的指尖传感器。 该设计能够保留目标夹爪的运动几何特征,同时支持接触前的自然操作输入与接触后的力觉测量。
系统将追踪功能集成至VR头显,通过AR方式实时显示目标机器人的姿态及运动状态,帮助操作者判断当前动作是否符合机器人的运动学约束。此外,RUMI还引入触觉反馈机制,支持在模拟及真实机器人环境中开展具备力觉信息的遥操作。

实验结果显示,在加入实时机器人可视化与姿态初始化功能后,50次操作中出现关节限位违规的回合数由16次下降至3次。 研究团队还利用两种不同指尖传感方式采集示教数据,用于训练机器人模仿学习策略,并在仿真环境中评估触觉接口采集力觉数据的能力。
此次研究展示了XR设备在机器人学习中的另一种应用方式,即通过AR可视化与触觉交互辅助机器人示教,为具身智能训练数据采集提供新的技术方案。
来源:arXiv









