RoboTwin 2.0：双臂操作机器人的可扩展合成数据生成和基准设计
三个要点
✔️ RoboTwin 2.0 是一个用于自动生成双臂机器人操纵的高质量合成数据的框架
✔️ 利用结合 MLLM 和仿真的闭环方法生成和修改专家级操纵代码
✔️ 领域随机化和对真实世界环境的多样化机器人支持即使在真实世界环境中也具有很高的泛化性能和鲁棒性
RoboTwin 2.0: A Scalable Data Generator and Benchmark with Strong Domain Randomization for Robust Bimanual Robotic Manipulation
written by Tianxing Chen, Zanxin Chen, Baijun Chen, Zijian Cai, Yibin Liu, Qiwei Liang, Zixuan Li, Xianliang Lin, Yiheng Ge, Zhenyu Gu, Weiliang Deng, Yubin Guo, Tian Nian, Xuanbing Xie, Qiangyu Chen, Kailun Su, Tianling Xu, Guodong Liu, Mengkang Hu, Huan-ang Gao, Kaixuan Wang, Zhixuan Liang, Yusen Qin, Xiaokang Yang, Ping Luo, Yao Mu
(Submitted on 22 Jun 2025)
Comments: Project Page: this https URL
Subjects: Robotics (cs.RO); Artificial Intelligence (cs.AI); Computation and Language (cs.CL); Computer Vision and Pattern Recognition (cs.CV); Multiagent Systems (cs.MA)
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。
概述
机器人的双臂操纵对于装配操作、工具使用和物品运送等复杂的现实世界任务至关重要。然而，在真实世界环境中进行大规模数据收集在时间和成本方面都很困难，而且所学操纵策略的通用性也很有限。为了解决这个问题，本研究提出了一个名为 "RoboTwin 2.0 "的大规模、高多样性数据生成和基准测试框架。
RoboTwin 2.0 采用闭环方法，利用多模态语言模型 (MLLM) 自动生成机器人操作程序，然后通过模拟对其进行修改和增强。此外，该系统还在背景、照明、物体摆放和指令文本等五个方面引入了强大的领域随机化功能，从而显著提高了真实环境中视觉、物理和语言的多样性和鲁棒性。
该系统支持 731 种物体类型和 50 个双臂任务，并预先收集了 100,000 多个专用轨迹数据。实验表明，代码生成的准确性、对不同机械臂的适应性以及在真实环境中的通用能力都得到了提高，而且零误差。
建议采用的方法
RoboTwin 2.0 是自动生成高质量双臂机器人操纵数据的可扩展框架。该方法主要由三部分组成：i) 多模态代码生成代理；ii) 域随机化；iii) 机械臂特定自适应模块。
首先，MLLM 根据以自然语言编写的任务指令自动生成初始代码。这些代码在模拟环境中各执行十次，由视觉语言模型（VLM）分析操作日志和故障原因，该模型与视觉和语言相对应。在此基础上，对代码进行反复修改和持续改进，直到成功率超过 50%。
然后，领域随机化引入了物体摆放、背景纹理、照明、桌子高度和指令的多样性。这样，模型就能适应各种视觉和物理环境。
此外，为了适应五种不同类型的机器人（如弗兰卡、UR5），设计还包括为每个物体准备多种抓取候选方案，并根据机器人的自由度自适应生成抓取行为。
实验
在这项研究中，RoboTwin 2.0 的有效性从几个方面得到了验证。首先，将 10 项不同任务中自动生成代码的成功率与传统方法（RoboTwin 1.0）进行了比较，结果表明，通过使用视觉和语言信息反馈，自动生成代码的成功率有了显著提高，最高达到 71.3%。
接下来，我们测试了有无领域随机化在鲁棒性方面的差异，发现在 RoboTwin 2.0 上训练的模型，即使在未见过的环境中，成功率也提高了 20% 以上。在现实环境中对四项任务进行的零点验证也显示，在未知背景和杂乱场景下，成功率提高了 20% 以上。
此外，使用 RoboTwin 2.0 训练的模型在 RoboTwin 基准的 "硬设置"（杂乱环境）中成功率最高，这清楚地表明了 RoboTwin 与其他方法之间的差异。这些结果表明，RoboTwin 2.0 是一个多功能、实用的数据生成平台，可显著提高在真实世界环境中的通用能力。
与本文相关的类别
