智能手机，安全摄像头和扬声器只是即将运行更多人工智能软件以加速图像和语音处理任务的设备中的一小部分。称为量化的压缩技术通过使深度学习模型更小以减少计算和能量成本来平滑方式。但事实证明，较小的模型使得恶意攻击者更容易欺骗AI系统行为不端 - 这是一个问题，因为更复杂的决策被转移到机器上。
在一项新的研究中，麻省理工学院和IBM的研究人员展示了压缩的AI模型对于对抗性攻击的脆弱程度，它们提供了一个修复：在量化过程中添加一个数学约束，以减少AI成为略微修改的图像的可能性并错误分类他们所看到的。
当深度学习模型从标准32位减小到较低位长时，由于误差放大效应，更可能错误分类改变的图像：随着每个额外的处理层，操纵图像变得更加失真。最后，该模型更可能将一只鸟误认为是猫，或者将一只青蛙误认为是鹿。
研究人员表示，量化为8位或更少的模型更容易受到对抗性攻击，随着位宽的下降，准确度从已经很低的30-40%下降到不到10%。但是在量化期间控制Lipschitz约束可以恢复一些弹性。当研究人员添加约束时，他们在攻击中看到了小的性能提升，在某些情况下较小的模型优于32位模型。
“我们的技术限制了误差放大，甚至可以使压缩深度学习模型比全精度模型更加稳健，”麻省理工学院电气工程和计算机科学系助理教授，麻省理工学院微系统技术实验室成员宋汉说。“通过适当的量化，我们可以限制误差。”
该团队计划通过在更大的数据集上进行培训并将其应用于更广泛的模型来进一步改进该技术。“深入学习模型在进入互联网连接设备的世界时需要快速而安全，”研究合着者，MIT-IBM Watson AI实验室研究员Chuang Gan说。“我们的防守量化技术在两方面都有所帮助。”
包括麻省理工学院研究生吉林在内的研究人员将在5月举行的国际学习代表大会上展示他们的成果。
在使AI模型更小，以便它们运行更快并且使用更少的能量时，Han正在使用AI本身来推动模型压缩技术的极限。在最近的相关工作中，Han和他的同事们展示了如何使用强化学习来根据运行模型的设备处理图像的速度，自动找到量化模型中每层的最小位长。Han表示，与固定的8位模型相比，这种灵活的位宽方法可将延迟和能耗降低200%。研究人员将在6月的计算机视觉和模式识别会议上展示他们的研究结果。