人工智能根据大脑活动录音重现平克·弗洛伊德歌曲片段

208
2023-08-22


  人工智能通过分析人们在听原曲时记录的大脑活动,创造了平克·弗洛伊德歌曲的过得去的翻唱。这些发现进一步加深了我们对声音感知方式的理解,并最终可以改进针对有语言障碍的人的设备。
加州大学伯克利分校的罗伯特·奈特 (Robert Knight)和他的同事研究了通过手术植入 29 人大脑表面以治疗癫痫症的电极的记录。


  参与者在听平克·弗洛伊德乐队的《Another Brick in the Wall, Part 1》时的大脑活动被记录下来。通过将大脑信号与歌曲进行比较,研究人员发现了一组电极的录音,这些录音与歌曲的音高、旋律、和声和节奏密切相关。


  然后,他们训练人工智能来学习大脑活动与这些音乐成分之间的联系,并从训练数据中排除歌曲的 15 秒片段。经过训练的人工智能根据参与者的大脑信号生成对未见过的歌曲片段的预测。AI 生成的剪辑的声谱图(音频波的可视化)与真实歌曲剪辑的相似度为 43%。


  研究人员在大脑中发现了一个称为颞上回的区域,该区域负责处理歌曲中吉他的节奏。他们还发现,来自大脑右半球的信号对于处理音乐比来自左半球的信号更重要,这证实了之前研究的结果。


奈特说,通过加深我们对大脑如何感知音乐的理解,这项工作最终可能有助于改进代表有语言障碍的人说话的设备。


“对于那些患有肌萎缩侧索硬化症(神经系统疾病)或失语症(语言疾病)的人来说,他们说话有困难,我们想要一种听起来真的像你正在以人类方式与某人交流的设备,”他说。“了解大脑如何代表语音的音乐元素,包括语气和情感,可以让这些设备听起来不那么机械化。”


  奈特说,大脑植入物的侵入性使得该手术不太可能用于非临床应用。然而,其他研究人员最近使用人工智能根据磁共振成像(MRI)扫描记录的大脑信号生成歌曲片段。


  研究小组成员、加州大学伯克利分校的卢多维奇·贝利尔 ( Ludovic Bellier)表示,如果人工智能可以利用大脑信号来重建人们想象的音乐,而不仅仅是聆听,那么这种方法甚至可以用来创作音乐。

  

61628
文章来源于网络,如有侵权请联系本站删除
精选二手好课
更多>>
年卡|一级建造师 优路教育 私教班
一级建造师
¥1000
年卡|注册电气工程师基础考试,英之教育,优培班
注册电气工程师
¥2000
年卡|超格网课转让
教师招聘
¥500
次卡|宁波哈喽贝比早教课时托班
早教课
¥8800
次卡|泰安克莱沃(金色雨林)早教课。配合更名。 还余76节课。一口价8890转。
早教课
¥8890
次卡|昆明海伦国际七田阳光早教课100节
早教课
¥9000
次卡|西安A索国际早教转课,还剩129节,赠送4节课!
早教课
¥9000
次卡|海口本人在高米早教课有100节,打包9000
早教课
¥9000
次卡|济南市中区欧亚大观金宝贝幼儿早教中心课程
早教课
¥9000
次卡|深圳小马快跑早教,200多一节课现在转让140一节
早教课
¥9400
73
AI资讯

人工智能根据大脑活动录音重现平克·弗洛伊德歌曲片段

收录于合集


  人工智能通过分析人们在听原曲时记录的大脑活动,创造了平克·弗洛伊德歌曲的过得去的翻唱。这些发现进一步加深了我们对声音感知方式的理解,并最终可以改进针对有语言障碍的人的设备。
加州大学伯克利分校的罗伯特·奈特 (Robert Knight)和他的同事研究了通过手术植入 29 人大脑表面以治疗癫痫症的电极的记录。


  参与者在听平克·弗洛伊德乐队的《Another Brick in the Wall, Part 1》时的大脑活动被记录下来。通过将大脑信号与歌曲进行比较,研究人员发现了一组电极的录音,这些录音与歌曲的音高、旋律、和声和节奏密切相关。


  然后,他们训练人工智能来学习大脑活动与这些音乐成分之间的联系,并从训练数据中排除歌曲的 15 秒片段。经过训练的人工智能根据参与者的大脑信号生成对未见过的歌曲片段的预测。AI 生成的剪辑的声谱图(音频波的可视化)与真实歌曲剪辑的相似度为 43%。


  研究人员在大脑中发现了一个称为颞上回的区域,该区域负责处理歌曲中吉他的节奏。他们还发现,来自大脑右半球的信号对于处理音乐比来自左半球的信号更重要,这证实了之前研究的结果。


奈特说,通过加深我们对大脑如何感知音乐的理解,这项工作最终可能有助于改进代表有语言障碍的人说话的设备。


“对于那些患有肌萎缩侧索硬化症(神经系统疾病)或失语症(语言疾病)的人来说,他们说话有困难,我们想要一种听起来真的像你正在以人类方式与某人交流的设备,”他说。“了解大脑如何代表语音的音乐元素,包括语气和情感,可以让这些设备听起来不那么机械化。”


  奈特说,大脑植入物的侵入性使得该手术不太可能用于非临床应用。然而,其他研究人员最近使用人工智能根据磁共振成像(MRI)扫描记录的大脑信号生成歌曲片段。


  研究小组成员、加州大学伯克利分校的卢多维奇·贝利尔 ( Ludovic Bellier)表示,如果人工智能可以利用大脑信号来重建人们想象的音乐,而不仅仅是聆听,那么这种方法甚至可以用来创作音乐。

  

61628
收录于合集
文章来源于网络,如有侵权请联系本站删除
二手好课
更多>>
年卡|一级建造师 优路教育 私教班
一级建造师
¥1000
年卡|注册电气工程师基础考试,英之教育,优培班
注册电气工程师
¥2000
年卡|超格网课转让
教师招聘
¥500
次卡|宁波哈喽贝比早教课时托班
早教课
¥8800
次卡|泰安克莱沃(金色雨林)早教课。配合更名。 还余76节课。一口价8890转。
早教课
¥8890
次卡|昆明海伦国际七田阳光早教课100节
早教课
¥9000
次卡|西安A索国际早教转课,还剩129节,赠送4节课!
早教课
¥9000
次卡|海口本人在高米早教课有100节,打包9000
早教课
¥9000
次卡|济南市中区欧亚大观金宝贝幼儿早教中心课程
早教课
¥9000
次卡|深圳小马快跑早教,200多一节课现在转让140一节
早教课
¥9400