加拿大滑铁卢大学的一个研究小组最近开展了一项研究，探索专门应用于移动设备的神经语言模型(NLM)的准确性 - 效率权衡。在他们在arXiv上发表的论文中，研究人员还提出了一种简单的技术，可以使用可忽略不计的内存来恢复一些困惑，一种语言模型性能的衡量标准。
NLM是基于神经网络的语言模型，通过该模型，算法可以学习单词序列的典型分布并对句子中的下一个单词进行预测。这些型号具有许多有用的应用，例如，为移动电话或其他设备启用更智能的软件键盘。
研究人员在他们的论文中写道：“神经语言模型(NLM)存在于准确性 - 权衡的权衡空间中，其中更好的困惑通常以更大的计算复杂性为代价。” “在移动设备上的软件键盘应用程序中，这意味着更高的功耗和更短的电池寿命。”
当应用于软件键盘时，NLM可以导致更准确的下一个词预测，允许用户通过单击来输入给定句子中的下一个词。使用神经网络提供此功能的两个现有应用程序是SwiftKey1和Swype2。然而，这些应用通常需要大量功率才能运行，从而迅速耗尽移动设备的电池。
“基于诸如困惑之类的标准指标，神经技术代表了现有技术语言建模的进步，”研究人员在他们的论文中解释道。“然而，更好的模型会带来计算复杂性的代价，这会导致更高的功耗。在移动设备的背景下，能效当然是一个重要的优化目标。”
据研究人员称，到目前为止，NLM主要是在图像识别和关键词定位的背景下进行评估，而自然语言处理(NLP)应用中的准确性 - 效率权衡尚未得到彻底研究。他们的研究重点是这个未开发的研究领域，对NLM进行评估，并对Raspberry Pi进行准确性 - 效率权衡。
研究人员表示，“我们的实证评估考虑了Raspberry Pi的困惑和能量消耗，我们展示了哪种方法提供了最佳的困惑 - 功耗操作点”。“在一个操作点，其中一种技术能够比最先进的[方法]提供40%的能量节省，而且只有相对增加17%的困难。”
在他们的研究中，研究人员还评估了许多关于准递归神经网络(QRNN)的推理时间修剪技术。在运行时将现有训练时间修剪方法的可用性扩展到QRNN，他们在准确性 - 效率权衡空间内获得了几个操作点。为了使用少量内存来提高性能，他们建议在所需的操作点上训练和存储单级权重更新。