NVIDIA的研究人员开始着手教一个机器人来完成一项任务 - 这里是踢球者 - 只需观察人类的行为。按照视频中的描述对网络进行了培训。该系统在现实世界中测试了堆叠彩色立方体的拾取和放置问题，他们使用了Baxter机器人。
六位作者团队讨论了这项工作，“用于从真实世界演示中学习人类可读计划的综合训练神经网络”。他们的成功涉及一个能够从现实世界中的单一演示中学习任务的机器人。
重要性：规划人员探讨人类如何与机器人一起工作的问题 - 如何安全有效地完成这项工作?作者清楚地说明了这一点。“为了让机器人在现实环境中执行有用的任务，必须很容易将任务传达给机器人;这包括所需的最终结果和任何关于实现该结果的最佳方法的提示。”
TechCrunch中的 Frederic Lardinois 称：“工业机器人通常都是一遍又一遍地重复定义明确的任务。通常，这意味着执行这些任务与编程它们的脆弱人类之间的安全距离。然而，越来越多，研究人员现在正在思考机器人和人类如何在人类附近工作，甚至可以从中学习。“
Lardinois表示，NVIDIA机器人研究高级主管Dieter Fox告诉他，该团队希望能够开发出能够安全地靠近人类工作的下一代机器人。无论是在工业环境中还是在人们的家中，机器人都需要了解它们如何帮助人们。
该团队展示了一个系统，用于从真实世界的演示中推断和执行人类可读的程序。
NVIDIA开发者网站表示，这是第一个可以通过观察人类行为来教导机器人完成任务的深度学习系统。“通过演示，用户可以将任务传达给机器人，并提供有关如何最好地执行任务的线索。”
他们的系统涉及一系列神经网络。他们是如何工作的：研究人员训练了一系列神经网络，以执行与感知，程序生成和程序执行相关的职责。
他们的技术：摄像机获取了一个场景的实时视频，其中物体的位置和关系是由一对神经网络实时推断出来的。这些被喂给另一个网络，该网络产生了一个解释如何重新创造这些看法的计划。执行网络读取计划并为机器人生成动作。
是什么让他们的探索与以往的研究不同?不同之处在于训练神经网络。NVIDIA网站称，目前的方法需要大量标记的训练数据 - 这是“这些系统中的严重瓶颈”。
相比之下，“通过合成数据生成，可以毫不费力地生成几乎无限量的标记训练数据。”
TechCrunch的 Lardinois 称他们的研究“是整个旅程中的重要一步，使我们能够快速教授机器人的新任务。”
他写道，鉴于这种培训过程具有强烈的视觉效果，Nvidia在图形硬件方面的背景肯定有帮助。TechSpot 指出“运行所有这些神经网络需要一些严肃的计算能力。”