RoboTwin1.0 | CVPR 2025 | Paper Reading

RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins

这篇文章主要是为了解决仿真数据生成问题，希望能生成大规模高质量的仿真数据并推动现实世界的机器人操作发展。

工作类型(首次/改进)	技术路线	创新点	日期
首次	simulation data collection	自动化仿真数据生成pipline	2025-10-03

1.What？

一个针对双臂机器人操作的自动化仿真数据集生成

2.Why？

目前具身的仿真环境不够好，仿真和现实世界的GAP太大，仿真数据生成不够自动化，无法起到推动现实世界的作用

3.How？

1. 借助Rodin来实现2D图像->3D仿真模型，生成了很多3D模型
2. 设计了一套点轴系统用于推测抓取的一些pose
3. 作者设计了一套Prompt来引导大模型生成任务的执行代码
   仿真预训练之后迁移到现实世界

4.Takeaways:

1.二维深度学习(2D DP)在少量样本上性能有限，但随着数据量的增加显著提升
2.尽管存在扩展限制，DP3仍展现出强大的少样本能力
3.相机视野(FOV)对基于图像的输入任务成功率有显著影响，特别是在块处理任务中，较宽的角度可能会影响抓取评估的准确性。
4.双臂性能:
对称任务的成功率高(例如，两只手臂同时抓取瓶子)
对于不对称任务的成功率较低，特别是那些需要主动碰撞避免的臂之间任务。干
局限性：
目前只是2指夹爪
未来工作：
增加更多的模态(触觉等)
设计更多的双臂操作任务为benchmark
设计更高自由度的机器人末端执行器去设计专家数据的采集方案