麻省理工学院研究人员开发的一种新的学习系统可以提高机器人将材料模塑成目标形状的能力，并预测与固体物体和液体的相互作用。该系统被称为基于学习的粒子模拟器，可以为工业机器人提供更精细的触摸 - 它可以在个人机器人中具有有趣的应用，例如塑造粘土形状或用于寿司的滚动糯米。
在机器人规划中，物理模拟器是捕捉不同材料如何响应力的模型。使用模型对机器人进行“训练”，以预测它们与物体相互作用的结果，例如推动固体盒或戳可变形粘土。但传统的基于学习的模拟器主要关注刚性物体，无法处理流体或较软的物体。一些更精确的基于物理的模拟器可以处理各种材料，但很大程度上依赖于在机器人与现实世界中的对象交互时引入错误的近似技术。
在5月份的国际学习代表会议上发表的一篇论文中，研究人员描述了一种新模型，该模型学会了捕捉不同材料的小部分 - “粒子” - 在它们受到刺戳和刺激时是如何相互作用的。在运动的基础物理学不确定或未知的情况下，该模型直接从数据中学习。然后，机器人可以使用该模型作为指导来预测液体以及刚性和可变形材料如何对其触摸力作出反应。当机器人处理物体时，该模型还有助于进一步细化机器人的控制。
在实验中，一个带有两个手指的机器人手，称为“RiceGrip”，将可变形泡沫精确地成形为所需的形状 - 例如“T”形 - 用作寿司饭的代表。简而言之，研究人员的模型可以作为一种“直观的物理学”大脑，机器人可以利用这种大脑来重建三维物体，这与人类的方式有些相似。
“人类在我们的头脑中有一个直观的物理模型，在那里我们可以想象如果我们推动或挤压物体将如何表现。基于这种直观模型，人类可以完成远远超出现有机器人范围的惊人操作任务，”第一作者Yunzhu Li说，他是计算机科学与人工智能实验室(CSAIL)的研究生。“我们希望为机器人构建这种直观的模型，使他们能够做人类可以做的事情。”
“当孩子5个月大时，他们对固体和液体的期望已经不同了，”CSAIL研究生吴佳俊补充说。“这是我们从小就知道的事情，所以也许我们应该尝试为机器人建模。”
在报纸上加入Li和Wu的是：Russ Tedrake，CSAIL研究员和电气工程与计算机科学系(EECS)教授; Joshua Tenenbaum，脑与认知科学系教授; 和ETRS教授，麻省理工学院 - IBM沃森人工智能实验室主任Antonio Torralba。
动态图表
该模型背后的一项关键创新，称为“粒子交互网络”(DPI-Nets)，正在创建动态交互图，其中包含数千个节点和边缘，可捕获所谓粒子的复杂行为。在图中，每个节点代表一个粒子。相邻节点使用有向边相互连接，有向边表示从一个粒子传递到另一个粒子的相互作用。在模拟器中，粒子是数百个小球体组合在一起构成一些液体或可变形物体。
这些图被构建为称为图神经网络的机器学习系统的基础。在训练中，模型随着时间的推移学习不同材料中的粒子如何反应和重塑。它通过隐式计算每个粒子的各种属性(例如质量和弹性)来预测粒子在扰动时是否以及在何处移动。
然后，该模型利用“传播”技术，该技术在整个图表中即时传播信号。研究人员为每种类型的材料(刚性，可变形和液体)定制技术，以发射信号，以预测某些增量时间步长的粒子位置。在每个步骤中，如果需要，它会移动并重新连接粒子。
例如，如果推动实心框，则扰动的粒子将向前移动。因为盒子内的所有粒子彼此刚性连接，所以对象中的每个其他粒子移动相同的计算距离，旋转和任何其他维度。粒子连接保持完整，盒子作为一个单元移动。但如果可变形泡沫区域缩进，则效果会有所不同。被扰动的粒子向前移动很多，周围的粒子只是轻微向前移动，而更远的粒子根本不会移动。当液体在杯子中晃动时，颗粒可能完全从图形的一端跳到另一端。该图必须学会预测所有受影响的粒子移动的位置和数量，这在计算上是复杂的。
塑造和适应
在他们的论文中，研究人员通过分配由可变形泡沫夹紧目标形状的双指RiceGrip机器人来演示该模型。机器人首先使用深度感应摄像头和物体识别技术来识别泡沫。研究人员随机选择感知形状内的颗粒来初始化颗粒的位置。然后，模型在粒子之间添加边缘，并将泡沫重建为针对可变形材料定制的动态图形。
由于所学习的模拟，机器人已经很清楚每一次触摸在给定一定量的力的情况下将如何影响图中的每个粒子。当机器人开始压缩泡沫时，它会迭代地将粒子的真实位置与粒子的目标位置相匹配。只要粒子不对齐，它就会向模型发送错误信号。该信号调整模型以更好地匹配材料的真实物理。
接下来，研究人员旨在改进模型，以帮助机器人更好地预测与部分可观察情景的相互作用，例如知道一堆盒子在推动时如何移动，即使只有表面上的盒子是可见的而且大多数其他盒子是隐。
研究人员还在探索通过直接操作图像将模型与端到端感知模块相结合的方法。这将是与Dan Yamins小组的联合项目; Yamin最近在麻省理工学院完成了他的博士后，现在是斯坦福大学的助理教授。“你只是在部分信息的情况下处理这些案件，”吴说。“我们正在扩展我们的模型来学习所有粒子的动力学，而只看到一小部分。”