[发明专利]声源分离方法及装置

说明书

本发明提供一种声源分离方法及装置，所述方法包括：获取视频帧图像中的视觉引导特征；将第一混叠多声源声谱图和所述视觉引导特征输入训练好的预测编码循环卷积神经网络模型，获取第一掩膜图；根据所述第一混叠多声源声谱图和所述第一掩膜图，获取分离的声音信号。本发明通过将视觉引导特征和混叠多声源声谱图输入训练好的预测编码循环卷积神经网络模型预测各声音分量的掩膜图，然后利用掩膜图和混叠多声源声谱图获取分离的声音信号，实现声谱图和视觉引导特征在同一网络模型中进行处理，网络模型规模小，且视觉特征和声音特征能够渐进式的有效融合，提高了声源分离的精度。

技术领域

本发明涉及计算机视觉和音频信号分离技术领域，尤其涉及一种声源分离方法及装置。

背景技术

视觉引导的声源分离是一个重要且具有挑战性的经典视觉-声音多模态任务，在视频中说话人的识别、语音增强、音频去噪、智能视频编辑等领域具有广泛的应用。

由于图像和声音信号之间在数据格式和数据特征上的不一致，因此，现有方法设计不同的网络模型来分别处理图像和声音信号，另外再使用单独的模型实现不同模态特征的融合，这样导致整个模型的规模较大，部署困难，且特征融合仅作用在网络模型的高水平层，分离得到的声源精度也不高。

因此，提供一种模型规模小且声源分离精度高的声源分离方法是急需解决的技术问题。

发明内容

本发明提供一种声源分离方法及装置，用以解决现有技术中网络模型规模大且声源分离精度不高的缺陷。

本发明提供一种声源分离方法，包括：

获取视频帧图像中的视觉引导特征；

将第一混叠多声源声谱图和所述视觉引导特征输入训练好的预测编码循环卷积神经网络模型，获取第一掩膜图；

根据所述第一混叠多声源声谱图和所述第一掩膜图，获取分离的声音信号。

可选地，所述训练好的预测编码循环卷积神经网络模型通过以下步骤获取：

将第二混叠多声源声谱图和单声源视频的帧图像对应的视觉引导特征输入预测编码循环卷积神经网络模型，输出第二掩膜图；所述第二掩膜图为预测的掩膜图；

将第一单声源声谱图和所述第二混叠多声源声谱图中的对应元素进行比较，获取第三掩膜图；所述第三掩膜图为真实的掩膜图；

将所述第二掩膜图与所述第三掩膜图之间的二值交叉熵作为损失函数；

对所述损失函数的值进行优化，获取训练好的预测编码循环卷积神经网络模型。

可选地，所述预测编码循环卷积神经网络模型包括预测编码循环卷积神经网络、单层转置卷积层和上采样层；

其中，所述预测编码循环卷积神经网络中的卷积层之间采用反馈连接，转置卷积层之间采用前馈连接，同层的卷积层和转置卷积层之间采用循环连接。

可选地，将第一混叠多声源声谱图和所述视觉引导特征输入训练好的预测编码循环卷积神经网络模型，获取第一掩膜图，包括：

将所述第一混叠多声源声谱图和所述视觉引导特征输入所述预测编码循环卷积神经网络，获取视觉声音融合特征；

将所述视觉声音融合特征输入所述单层转置卷积层和所述上采样层，获取第一掩膜图。

可选地，将所述第一混叠多声源声谱图和所述视觉引导特征输入所述预测编码循环卷积神经网络，获取视觉声音融合特征，包括：

将所述第一混叠多声源声谱图输入所述卷积层的顶层，依次获取每一层卷积层的预测信号，并利用所述每一层卷积层的预测信号获取每一层卷积层的神经元响应；