Deezer的研究人员已经开发出一种能够将某些歌曲与情绪和强度联系起来的人工智能系统,正如VentureBeat所发现的那样。这项工作在Arxiv.org上发表的一篇新文章中有所描述,该论文标题为“ 基于带有深度神经网络的音频歌词的音乐情绪检测 ”。
为了确定一首歌的音乐氛围,该团队考虑了音频信号和歌词。首先,他们将音频信号输入神经网络,以及重建语言语境的模型。然后,为了教它如何确定一首歌的情绪,他们使用了百万歌数据集(MSD),这是一组超过100万首当代歌曲的元数据。特别是,他们使用了Last.fm的数据集,该数据集为超过500,000个唯一标记的轨道分配标识符。这些标签中的许多都与情绪有关,并且来自这些标签的超过14,000个英语单词被给予两个与单词的负面或正面相关的刻度等级,以及单词为了训练系统的平静或精力。
百万歌曲数据库只包含歌曲的元数据,而不是歌曲本身,因此团队然后使用歌曲标题,艺术家姓名和专辑标题等标识符将所有这些信息与Deezer的目录配对。大约60%的结果数据集(18,644个轨道)用于训练AI,其余用于验证和进一步测试系统。
最后,研究人员得出结论,人工智能能够更好地检测出一首歌比没有使用AI的传统方法更好的平静或精力,并且在检测一首歌是正面还是负面时表现得差不多。 。研究人员在论文中写道:“这种性能的提升似乎是我们的模型能够揭示并使用音频和歌词之间的中级相关性的结果,特别是在预测效价时。”
在论文中指出,为了真正利用这项工作,“具有同步歌词和音频的数据库将对进一步发展有很大帮助。”如果存在这样的数据库,团队认为他们可以更精确地确定其中的模糊性。轨道的情绪,因为“在某些情况下,听众之间可能存在显着的差异”(例如,人们可能并不总是同意歌曲是正面还是负面)。最终,研究人员相信这种工作被视为进一步研究音乐,歌词和情绪如何相关的一种方式,以及让深度学习模型能够分类并大量找到未标记数据的可能性。
这远非Deezer第一次尝试使用AI来排序音乐。去年,它在Sónar音乐节上遇到了挑战,回答了这个问题:“当用户在家时,我们如何才能检测出他们听音乐的背景并相应地推荐音乐?”Deezer理论上可以使用这种类型的未来的机器学习会自动对音乐进行排序和编目 - 不仅仅是基本的元数据,比如艺术家的名字或音乐类型,还有一些像心情一样细微差别的东西。