基于目标的模仿学习的运动推理
Motion Reasoning for Goal-Based Imitation Learning
De-An Huang1,2, Yu-Wei Chao∗,2, Chris Paxton∗,2, Xinke Deng2,3,
Li Fei-Fei1, Juan Carlos Niebles1, Animesh Garg2,4, Dieter Fox2,5
摘要
We address goal-based imitation learning, where
the aim is to output the symbolic goal from a third-person video demonstration. This enables the robot to plan for execution and reproduce the same goal in a completely different environment. The key challenge is that the goal of a video demonstration is often ambiguous at the level of semantic actions. The human demonstrators might unintentionally achieve certain subgoals in the demonstrations with their actions. Our main contribution is to propose a motion reasoning framework that combines task and motion planning to disambiguate the true intention of the demonstrator in the video demonstration. This allows us to robustly recognize the goals that cannot be disambiguated by previous action-based approaches. We evaluate our approach by collecting a dataset of 96 video demonstrations in a mockup kitchen environment. We show that our motion reasoning plays an important role in recognizing the actual goal of the demonstrator and improves the success rate by over 20%. We further show that by using the automatically inferred goal from the video demonstration, our robot is able to reproduce the same task in a real kitchen environment.
我们致力于基于目标的模仿学习，其目的是从第三人称视频演示中输出象征性目标。这使机器人能够计划执行并在完全不同的环境中重现相同的目标。关键的挑战是，视频演示的目标通常在语义动作方面是模棱两可的。人类示威者可能会在示威活动中无意中达到某些目标。我们的主要贡献是提出一个结合了任务和动作计划的动作推理框架，以消除演示者在视频演示中的真实意图。这使我们能够牢固地认识到以前基于行动的方法无法消除的目标。我们通过在样机厨房环境中收集96个视频演示的数据集来评估我们的方法。我们证明，运动推理在识别演示者的实际目标中起着重要作用，并将成功率提高了20％以上。我们进一步证明，通过使用视频演示中自动推断的目标，我们的机器人能够在真实的厨房环境中重现相同的任务。
我们的主要贡献是观察到，此类示范活动的可读性因此在于低级轨迹或运动，而不是高级动作。 这种清晰的运动假设使我们能够将任务和运动谓词之间的决策表述为逆向计划[18]。
我们提出了一个新的运动推理框架，以识别真实视频演示中的目标。 我们证明，尽管在象征性行动层面和最终状态方面模棱两可，但示威活动在轨迹层面仍表现出意图。 通过明确地针对任务目标的对象轨迹进行推理，我们将任务推理和运动推理相结合以推断出演示的目标。 我们的结果表明，这使我们大大优于以前基于运动计划或任务计划来推断目标的方法。 此外，我们证明了基于目标的表达方式使机器人只需观看样机厨房的视频演示，即可在真实厨房中重现相同的目标。