天空彩票_天下彩_官方免费资料大全_手机版

天空彩票_天下彩_官方免费资料大全_手机版 > 军事官方免费资料 >

麻省理工学院的另一个突破使用AI过滤源,使音乐

2018-10-31 15:15:47 军事官方免费资料171℃

  均衡器用于调出音乐的低音部分,但麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员已经找到了更好的解决方案。他们开发的新系统PixelPlayer使用人工智能来区分和过滤声音,使音乐更响亮或更柔和。指定的视频输入完全训练的PixelPlayer,系统在识别源时随机过滤伴奏,然后计算图像中每个像素的音量,然后使用空间定位来确定产生类似声波的片段。今年9月,欧洲计算机视觉会议将在德国慕尼黑举行。将在会议上发表的一篇新论文将详细讨论“像素之声”。赵航,博士麻省理工学院计算机科学与人工智能实验室的学生和该论文的共同作者说:“最好的情况是我们可以确定哪种乐器发出声音。” PixelPlayer核心是基于仪器组合的多模式训练的神经网络。该数据集在Youtube上使用714个未修剪和未标记的视频。其中,500个视频,总持续时间为60小时,用于培训,其余视频用于验证和测试。在训练期间,研究人员将算法输入系统基于原声吉他、大提琴、单簧管、长笛和其他乐器。这只是PixelPlayer多机学习框架的一部分。训练的视频分析算法从剪辑帧中提取视觉特征,剪辑帧是系统的第二神经网络,即音频分析网络。

  音频分析网络将声音分割成片段并从中提取特征。最后,音频合成网络将关联由上述两个网络输出的特定像素和声波。 PixelPlayer执行完全自我监督的学习,人们不需要对数据进行评论,系统现在可识别20种乐器。赵航表示,较大的数据集可以增强系统的识别能力,但识别仪器子类的能力很差。该系统还可以识别音乐元素,例如小提琴的谐波频率。研究人员认为,PixelPlayer可以执行声音编辑或帮助机器人了解动物、车辆和其他物体产生的环境声音。他们写道:“我们希望我们的工作能够开辟新的研究方法,从视觉和听觉信号的角度实现声源分离。” (编译:​​杨伟)

搜索
网站分类