使用称为深度神经网络的机器学习系统，麻省理工学院的研究人员创造了第一个能够在听觉任务中复制人类表现的模型，例如识别音乐类型。
该模型由多层信息处理单元组成，可以对大量数据进行训练以执行特定任务，研究人员使用该模型来阐明人类大脑如何执行相同的任务。
“这些模型首次为我们提供的机器系统能够执行对人类至关重要的感官任务，并且在人类层面上这样做，”Frederick A.和Carole J. Middleton神经科学助理教授Josh McDermott说。在麻省理工学院的脑与认知科学系和该研究的高级作者。“从历史上看，这种类型的感官处理很难理解，部分原因是我们没有真正的理论基础和开发可能发生的模型的好方法。”
这项研究发表在4月19日的“ 神经元”杂志上，也提供了人类听觉皮层排列在等级组织中的证据，就像视觉皮层一样。在这种类型的安排中，感官信息通过连续的处理阶段，先前处理基本信息，并且在后期阶段提取诸如词义之类的更高级特征。
麻省理工学院的研究生Alexander Kell和斯坦福大学助理教授Daniel Yamins是该论文的主要作者。其他作者是前麻省理工学院访问学生Erica Shook和前麻省理工学院博士后Sam Norman-Haignere。
当深度神经网络在20世纪80年代首次发展时，神经科学家希望这种系统可用于模拟人类大脑。然而，那个时代的计算机并不足以构建足够大的模型来执行对象识别或语音识别等现实任务。
在过去五年中，计算能力和神经网络技术的进步使得使用神经网络执行困难的现实任务成为可能，并且它们已成为许多工程应用中的标准方法。与此同时，一些神经科学家重新考虑了这些系统可能用于模拟人类大脑的可能性。
“对于神经科学而言，这是一个令人兴奋的机会，因为我们实际上可以创建能够完成人们可以做的事情的系统，然后我们可以查询模型并将它们与大脑进行比较，”Kell说。
麻省理工学院的研究人员训练他们的神经网络执行两个听觉任务，一个涉及语音，另一个涉及音乐。对于演讲任务，研究人员给这个模型提供了成千上万的两秒钟录音。任务是识别剪辑中间的单词。对于音乐任务，模型被要求识别两秒音乐剪辑的类型。每个剪辑还包括背景噪声，以使任务更加真实(并且更加困难)。
在成千上万的例子之后，模型学会了像人类听众那样准确地完成任务。
“这个想法随着时间的推移，模型在任务中变得越来越好，”凯尔说。“希望它是学习一般的东西，所以如果你提出一个模型从未听过的新声音，它会表现良好，而在实践中往往就是这样。”
该模型也倾向于在人类犯错最多的相同剪辑上犯错误。
构成神经网络的处理单元可以以各种方式组合，形成影响模型性能的不同架构。
麻省理工学院的团队发现，这两项任务的最佳模型是将处理分为两组。第一组阶段在任务之间共享，但在此之后，它分成两个分支用于进一步分析 - 一个用于语音任务的分支，一个用于音乐类型任务。
等级证据
然后，研究人员利用他们的模型探讨了一个关于听觉皮层结构的长期问题：它是否是分层次组织的。
在分层系统中，一系列脑区域在感知信息流过系统时执行不同类型的计算。已有文献记载，视觉皮层具有这种类型的组织。早期的区域，即初级视觉皮层，对颜色或方向等简单特征作出反应。后期阶段可以实现更复杂的任务，例如对象识别。
然而，很难测试这种类型的组织是否也存在于听觉皮层中，部分原因是因为没有好的模型可以复制人类的听觉行为。
“我们认为，如果我们能够构建一个可以做与人们相同的事情的模型，那么我们就可以将模型的不同阶段与大脑的不同部分进行比较，并获得一些证据，证明这些部分是否与大脑可能是分层组织的，“麦克德莫特说。
研究人员发现，在他们的模型中，声音的基本特征如频率在早期阶段更容易提取。随着信息的处理和向网络的进一步移动，提取频率变得更加困难，但更容易提取诸如单词之类的更高级别的信息。
为了观察模型阶段是否可以复制人类听觉皮层如何处理声音信息，研究人员使用功能磁共振成像(fMRI)来测量听觉皮层的不同区域，因为大脑处理真实世界的声音。然后，他们在处理相同声音时比较了大脑对模型中响应的响应。
他们发现模型的中间阶段最能与初级听觉皮层的活动相对应，后期阶段最能与初级皮层外的活动相对应。研究人员说，这提供了证据表明听觉皮层可能以分层方式排列，类似于视觉皮层。
“我们非常清楚地看到的是初级听觉皮层与其他一切之间的区别，”McDermott说。
作者现在计划开发能够执行其他类型听觉任务的模型，例如确定特定声音的来源，探索这些任务是否可以通过此模型中确定的路径完成，或者是否需要单独的路径，然后可以在大脑中进行调查。