人工智能通过分析人们在听原曲时记录的大脑活动,创造了平克·弗洛伊德歌曲的过得去的翻唱。这些发现进一步加深了我们对声音感知方式的理解,并最终可以改进针对有语言障碍的人的设备。
加州大学伯克利分校的罗伯特·奈特 (Robert Knight)和他的同事研究了通过手术植入 29 人大脑表面以治疗癫痫症的电极的记录。
参与者在听平克·弗洛伊德乐队的《Another Brick in the Wall, Part 1》时的大脑活动被记录下来。通过将大脑信号与歌曲进行比较,研究人员发现了一组电极的录音,这些录音与歌曲的音高、旋律、和声和节奏密切相关。
然后,他们训练人工智能来学习大脑活动与这些音乐成分之间的联系,并从训练数据中排除歌曲的 15 秒片段。经过训练的人工智能根据参与者的大脑信号生成对未见过的歌曲片段的预测。AI 生成的剪辑的声谱图(音频波的可视化)与真实歌曲剪辑的相似度为 43%。
研究人员在大脑中发现了一个称为颞上回的区域,该区域负责处理歌曲中吉他的节奏。他们还发现,来自大脑右半球的信号对于处理音乐比来自左半球的信号更重要,这证实了之前研究的结果。
奈特说,通过加深我们对大脑如何感知音乐的理解,这项工作最终可能有助于改进代表有语言障碍的人说话的设备。
“对于那些患有肌萎缩侧索硬化症(神经系统疾病)或失语症(语言疾病)的人来说,他们说话有困难,我们想要一种听起来真的像你正在以人类方式与某人交流的设备,”他说。“了解大脑如何代表语音的音乐元素,包括语气和情感,可以让这些设备听起来不那么机械化。”
奈特说,大脑植入物的侵入性使得该手术不太可能用于非临床应用。然而,其他研究人员最近使用人工智能根据磁共振成像(MRI)扫描记录的大脑信号生成歌曲片段。
研究小组成员、加州大学伯克利分校的卢多维奇·贝利尔 ( Ludovic Bellier)表示,如果人工智能可以利用大脑信号来重建人们想象的音乐,而不仅仅是聆听,那么这种方法甚至可以用来创作音乐。