Nvidia人工智能研究人员今天介绍了SimOpt，这是一个人工智能系统，经过培训可以将模拟工作转移到实际行动中，以完成诸如将钉子放入孔中以及打开和关闭抽屉等任务。SimOpt模型依赖于强化学习，是使用Nvidia的FleX物理模拟引擎和超过9,600个模拟创建的，每个模拟最多需要两个小时才能完成。
该方法采用FleX中捕获的合成数据，这些数据在现实世界中不起作用，并在模拟器中调整其参数，希望算法在下一阶段减少错误。
“这样做的目的实际上是在模拟器中创建真实世界的忠实副本。现在，通过这些参数，你重新训练强化学习。“研究员Ankur Handa在电话采访中告诉VentureBeat。“然后你回到现实世界，检查参数范围是否有效。如果没有，你再回过头来，找出哪些轨迹与现实世界相匹配，并找出另一个范围。然后你去训练那个范围的RL，你随着时间的推移迭代这个过程，直到你无法区分......这是来自现实世界还是模拟器，它才有效。“
微调参数和比较模拟器和实际任务的轨迹的迭代过程依赖于深度传感器，该传感器跟踪现实世界中的3D模型并进行性能估计。
“我们所说的是'不要丢掉负数据。'它仍然是非常有用的数据，因为它允许您在模拟器中创建真实世界的忠实副本并调整参数的范围，并且一直这样做直到它起作用，“Handa说。
今天推出的研究是继去年推出Nvidia的Isaac机器人系列以及1月份在西雅图推出Nvidia机器人实验室之后推出的。该实验室用于训练机器人在实际环境中工作，如宜家厨房，并从附近的华盛顿大学挖掘人才。
Dieter Fox于2017年被任命为Nvidia机器人实验室的负责人。从那时起，研究人员已经开发出可以在实验室环境中观察人类活动的学习系统，以及学习如何从合成数据中获取物体。
本周将在蒙特利尔举行的国际机器人与自动化大会上发表题为“关闭模拟到实际循环：利用真实世界经验调整模拟随机化”的工作。在会议上提交的工作包括来自Facebook研究人员的论文，他们使用强化学习来教授六足六足机器人如何行走。
在接下来的几个月里，SimOpt将在更多条件下进行测试，以模拟真实环境。
