[发明专利]声源分离方法及装置

权利要求书

1.一种声源分离方法，其特征在于，包括：

获取视频帧图像中的视觉引导特征；

将第一混叠多声源声谱图和所述视觉引导特征输入训练好的预测编码循环卷积神经网络模型，获取第一掩膜图；

根据所述第一混叠多声源声谱图和所述第一掩膜图，获取分离的声音信号；

所述预测编码循环卷积神经网络模型包括预测编码循环卷积神经网络、单层转置卷积层和上采样层；

其中，所述预测编码循环卷积神经网络中的卷积层之间采用反馈连接，转置卷积层之间采用前馈连接，同层的卷积层和转置卷积层之间采用循环连接；所述反馈连接用于传递预测信号，所述前馈连接用于传递所述预测信号与实际响应之间的误差信号，所述循环连接用于在同层的卷积层和转置卷积层之间传递神经元响应。

2.根据权利要求1所述的声源分离方法，其特征在于，所述训练好的预测编码循环卷积神经网络模型通过以下步骤获取：

将第二混叠多声源声谱图和单声源视频的帧图像对应的视觉引导特征输入预测编码循环卷积神经网络模型，输出第二掩膜图；所述第二掩膜图为预测的掩膜图；

将第一单声源声谱图和所述第二混叠多声源声谱图中的对应元素进行比较，获取第三掩膜图；所述第三掩膜图为真实的掩膜图；

将所述第二掩膜图与所述第三掩膜图之间的二值交叉熵作为损失函数；

对所述损失函数的值进行优化，获取训练好的预测编码循环卷积神经网络模型。

3.根据权利要求1所述的声源分离方法，其特征在于，将第一混叠多声源声谱图和所述视觉引导特征输入训练好的预测编码循环卷积神经网络模型，获取第一掩膜图，包括：

将所述第一混叠多声源声谱图和所述视觉引导特征输入所述预测编码循环卷积神经网络，获取视觉声音融合特征；

将所述视觉声音融合特征输入所述单层转置卷积层和所述上采样层，获取第一掩膜图。

4.根据权利要求3所述的声源分离方法，其特征在于，将所述第一混叠多声源声谱图和所述视觉引导特征输入所述预测编码循环卷积神经网络，获取视觉声音融合特征，包括：

将所述第一混叠多声源声谱图输入所述卷积层的顶层，依次获取每一层卷积层的预测信号，并利用所述每一层卷积层的预测信号获取每一层卷积层的神经元响应；

将所述视觉引导特征输入所述转置卷积层的底层，根据同层卷积层的神经元响应，依次获取每一层转置卷积层的神经元响应；

在最后一次循环迭代中，将转置卷积层的顶层的神经元响应作为视觉声音融合特征。

5.根据权利要求1所述的声源分离方法，其特征在于，根据所述第一混叠多声源声谱图和所述第一掩膜图，获取分离的声音信号，包括：

将所述第一混叠多声源声谱图与所述第一掩膜图进行对应元素相乘，获取第二单声源声谱图；

利用短时傅里叶逆变换将所述第二单声源声谱图变换至时域，获取分离的声音信号。

6.根据权利要求2所述的声源分离方法，其特征在于，所述第二混叠多声源声谱图通过以下步骤获取：

对不同的单声源视频数据进行声音采样，获取不同的单声源声音信号；

将所述不同的单声源声音信号进行线性叠加，获取混叠多声源声音信号；

利用短时傅里叶变换将所述混叠多声源声音信号变换为所述第二混叠多声源声谱图。

7.一种声源分离装置，其特征在于，包括：

第一获取模块，用于获取视频帧图像中的视觉引导特征；

第二获取模块，用于将第一混叠多声源声谱图和所述视觉引导特征输入训练好的预测编码循环卷积神经网络模型，获取第一掩膜图；

第三获取模块，用于根据所述第一混叠多声源声谱图和所述第一掩膜图，获取分离的声音信号；

所述预测编码循环卷积神经网络模型包括预测编码循环卷积神经网络、单层转置卷积层和上采样层；

其中，所述预测编码循环卷积神经网络中的卷积层之间采用反馈连接，转置卷积层之间采用前馈连接，同层的卷积层和转置卷积层之间采用循环连接；所述反馈连接用于传递预测信号，所述前馈连接用于传递所述预测信号与实际响应之间的误差信号，所述循环连接用于在同层的卷积层和转置卷积层之间传递神经元响应。