橡树岭国家实验室(Oak Ridge National Laboratory)提高科学人工智能能效的方法显示出了解析大量癌症数据的早期前景。
研究人员正在意识到深度学习的潜力，以快速推进科学，但用大量数据“训练”潜在的神经网络来解决手头的任务可能需要大量的能量。这些网络还需要复杂的连接和大量存储，这两者都会进一步降低其能效和实际应用中的潜力。
为了解决这个问题，ORNL的Mohammed Alawad，Hong-Jun Yoon和Georgia Tourassi开发了一种新方法，用于开发能够解决复杂科学问题的节能深度神经网络。他们在2017年IEEE波士顿大数据大会上展示了他们的研究成果。
研究人员证明，通过将深度学习神经网络(DNN)转换为“深度尖峰”神经网络(DSNN)，他们可以提高网络设计和实现的能效。
DSNN通过脉冲或“尖峰”在实际信号的位置模仿人类大脑中的神经元，各个尖峰指示在何处执行计算。此过程可最大限度地减少必要的计算并最大化网络的能效。然而，能源效率是以任务性能为代价的，而作者用于实施DSNN的新型随机方法克服了这种权衡。
结果令人印象深刻：团队的方法达到了与原始DNN几乎相同的精度，并且比最先进的尖峰神经网络表现更好。该团队的基于随机的DSNN随着时间的推移均匀分配峰值，比原始DNN消耗的能量减少38倍，比传统DSNN节省近2倍的能量，同时提供明显更好的任务性能。
研究人员对他们的网络进行了国家癌症研究所的监测，流行病学和最终结果(SEER)计划的临床文本数据的培训，该计划提供癌症统计数据，如年龄，性别，种族，年份相关人群的发病率，患病率和死亡率。诊断和地理区域。
ORNL团队将新训练的网络应用于临床病理报告，这是国家癌症监测计划的主要信息来源。Yoon说，这些报告包含大量非结构化文本，研究人员正在开发智能语言理解系统，以提取文本海洋中最相关的临床概念。
临床报告代表“稀疏”数据集，其通常对尖峰网络提出独特的挑战。大多数DSNN技术都专注于计算机视觉任务，例如MNIST数据集，其由一系列用于训练图像处理网络的手写数字组成。这些数据集通常是“密集的”，这意味着数据集中的所有变量都填充了值，这一特征通常可以简化分析。
用于提高尖峰网络的性能和能量效率的传统技术通常保留传统神经网络的结构，这种做法牺牲了准确性和性能。这些缺点促使团队开发出一种新方法，该方法依赖于简单的电路硬件来执行复杂的计算。
“加入网络会降低能耗，因为我们忽略了不必要的计算，我们只关注网络的相关节点，”Yoon说，“这是我们提高能源效率，同时高精度地识别重要临床信息的一种方式。”
该团队的技术将帮助ORNL研究人员参与CANcer分布式学习环境(CANDLE)项目，该项目旨在利用实验室世界一流的大数据专业知识和计算设施扫描数百万份临床报告，以寻找有关癌症原因的见解，最佳课程治疗，改善结果。他们很快将尝试并行化算法以提高计算效率。
尖峰网络在图形处理单元(GPU)上进行了优化，GPU是人工智能应用的首选处理器，特别是那些利用机器学习和深度学习的处理器。然而，该方法可以扩展到训练尖峰网络，进一步提高这些新型网络的能源效率，同时通过深度学习加速科学发现。