近年来，在自动驾驶，语音识别，计算机视觉和自动翻译等领域中表现最佳的人工智能系统已经被称为神经网络的软件系统。
但神经网络占用大量内存并消耗大量电力，因此它们通常运行在云中的服务器上，从台式机或移动设备接收数据，然后发送回分析。
去年，麻省理工学院电气工程和计算机科学副教授Vivienne Sze及其同事公布了一种针对神经网络优化的新型节能计算机芯片，该计算机芯片可以使强大的人工智能系统在移动设备上本地运行。
现在，Sze和她的同事已经从相反的方向解决了同样的问题，采用了一系列技术来设计更节能的神经网络。首先，他们开发了一种分析方法，可以确定在特定类型的硬件上运行时神经网络将消耗多少功率。然后，他们使用该方法评估削减神经网络的新技术，以便它们在手持设备上更有效地运行。
研究人员在他们下周将在计算机视觉和模式识别会议上发表的论文中描述了这项工作。在他们的论文中，他们报告说，与标准的神经网络实现相比，这些方法提供的功耗降低了73%，并且与先前削减网络的最佳方法相比，降低了43%。
神经网络基于大脑的解剖结构，由数千甚至数百万个简单但密集互联的信息处理节点组成，通常组织成层。不同类型的网络根据其层数，节点之间的连接数以及每层中的节点数而变化。
节点之间的连接具有与它们相关联的“权重”，这决定了给定节点的输出将对下一个节点的计算贡献多少。在训练期间，其中向网络呈现其学习执行的计算的示例，连续地重新调整这些权重，直到网络的最后一层的输出始终与计算的结果相对应。
“我们做的第一件事就是开发一种能量建模工具，用于解释数据移动，交易和数据流，”Sze说。“如果你给它一个网络架构和它的权重值，它会告诉你这个神经网络需要多少能量。人们提出的一个问题是：拥有一个浅网络和更多权重是否更节能或者权重更少的更深层网络?' 这个工具让我们更直观地了解能量的来源，这样算法设计师就可以更好地理解并将其用作反馈。我们做的第二件事就是，既然我们知道能量的实际去向，我们开始使用这个模型来推动我们的节能神经网络设计。“
在过去，诗解释说，研究人员试图减少神经网络 “ 的功耗使用一种叫做‘修剪’。节点之间的低权重连接对神经网络的最终输出贡献很小，因此可以安全地消除或修剪它们中的许多。
原则修剪
在他们的能量模型的帮助下，Sze和她的同事 - 第一作者Tien-Ju Yang和Yu-Hsin Chen，都是电气工程和计算机科学的研究生- 改变了这种方法。尽管切割大量的低重量连接对神经网络的输出几乎没有影响，但切割它们可能会有所减少，因此修剪技术必须有一些机制来决定何时停止。
因此，麻省理工学院的研究人员开始修剪消耗最多能量的网络层。这样，削减转化为最大可能的节能。他们称这种方法为“ 能量 -意识到修剪”。
神经网络中的权重可以是正的也可以是负的，因此研究人员的方法也会寻找具有相反符号权重的连接相互抵消的情况。给定节点的输入是下面层中节点的输出，乘以其连接的权重。因此，研究人员的方法不仅关注权重，还关注相关节点处理训练数据的方式。只有当正负权重的连接组始终相互抵消时，才能安全地切断它们。与早期的修剪方法相比，这可以提供更有效的网络连接。