[发明专利]一种人机交互的声音分离的方法

说明书

本发明涉及一种人机交互的声音分离的方法，属于音频处理技术领域。该方法首先对待分离的音频进行初步分离，得到每个声音源的音频并划分为不发声区间和发声区间，将该声音源的区间分布图呈现用户，使得用户听音频并看到音频进度对应区间位置；若用户满意声音分离效果，则分离结束；若用户不满意分离结果，则用户可对发声区间和不发声区间进行修改，直至得到满意的分离结果；用户还可以对分离结果进行精细调整，删除声音源中包含其他声音源的声音。本发令用户分离声音无需相应的音乐知识，使得普通用户能够轻松分离视频或音频中不同来源的声音。

技术领域

本发明涉及一种人机交互的声音分离的方法，属于音频处理技术领域。

背景技术

随着网络的发展，越来越多的视频、音频进入大众的生活，同时，对视频、音频的处理的需求也日益增加，越来越多的音、视频被进行处理后进一步用于人们的生活、工作和学习等。

在一段视频或音频中，经常会出现多种声音。有时这些声音会互相重叠，比如人说话的同时电话铃响了，分离这些声音是一个巨大的挑战，然而有时我们需要这样的声音分离。

目前商业音、视频软件虽然对音、视频有多种处理支持，但是在对单声道声音的分离方面，几乎只能够支持简单的降噪和分割。已有技术中，文献[ISSE:An InteractiveSource Separation Editor,Nicholas J.Bryan,Gautham J.Mysore,Ge Wang]使用概率潜在成分分析方法，并令用户涂抹声音频谱图上的频谱归属于哪一个声音来分离声音，较好的提高了声音的分离效果。但是该方法需要用户具有较强的音频相关知识，并且该过程需要耗费大量时间。文献[AN INTERACTIVE AUDIO SOURCE SEPARATION FRAMEWORK BASEDONON-NEGATIVE MATRIX FACTORIZATION,Ngoc Q.K.Duong,Alexey Ozerov,LouisChevallier,and Jo¨el Sirot]基于非负矩阵分解的方法，将声音分离分为两步，第一步用户标记出所要分离的声音源发声与不发声的时间段，然后系统进行分离；第二步，根据第一步的结果，用户对声音频谱图进行标记，标记某一特定时间的频率对特定的声音源是活跃、非活跃还是良好分离了的，直到用户得到满意的分离效果。这种方法通过两次标记能够较好分离声音，并且一定程度上减轻了用户的工作量，但是，该方法的第二步还是需要用户具有一定的音频处理专业知识，限制了大众用户的使用。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种人机交互的声音分离的方法。本发明可将视频或音频中的声音分成不同的声音源，令普通用户能够轻松分离视频、音频中不同来源的声音。

本发明提出一种人机交互的声音分离的方法，其特征在于，包括以下步骤：

(1)初步分离声音，具体步骤如下：

(1-1)设待分离音频为x，对x进行短时傅里叶变换，得到该音频的短时傅里叶变换谱X；

(1-2)根据步骤(1-1)的X，令V＝|X|²，得到X的能量矩阵，V为M×N的非负矩阵，N为短时傅里叶变换后的时间维度，M为短时傅里叶变换后的频率维度；

(1-3)设非负矩阵V≈WH，其中W为M×r的非负矩阵，H为r×N的非负矩阵；r为特征频谱的个数，r＝d×k，d为用户指定要分离出的声音源个数，k为每种声音的特征频谱个数，令k＝1，利用非负矩阵分解法，分别得到非负矩阵W和非负矩阵H；具体步骤如下：

(1-3-1)初始化非负矩阵W为一个M×r的随机矩阵，每个元素值取为0到1之间的随机数，初始化非负矩阵H为r×N的随机矩阵，每个元素值取为0到1之间的随机数；

(1-3-2)按照如下迭代规则分别对W、H进行更新：