[发明专利]一种基于视听觉多模态的视频音源分离方法

说明书

本发明公开了一种基于视听觉多模态的视频音源分离方法，具有这样的特征，包括以下步骤：步骤1，对视频的视觉信息和听觉信息进行特征提取，得到视觉标签和听觉特征；步骤2，将视觉标签和听觉特征放入多实例多标签网络，得到听觉特征与视觉标签的关联值；步骤3，将视频和关联值放入音源分离网络中，得到每一个对象的单独声音，其中，步骤2中，多实例多标签网络的训练包括以下步骤：步骤2‑1，构建初始多实例多标签网络；步骤2‑2，将一个视频中所得到的所有音频特征向量作为训练集放入多实例多标签网络中训练，得到每个音频特征向量和所有视觉对象的关联特征图。

技术领域

本发明属于计算机视觉领域以及音频信号处理领域，具体涉及一种基于视听觉多模态的视频音源分离方法。

背景技术

视频是传播信息的最重要且最主要的媒体对象，了解场景和事件本质上是一种多模态的体验。我们通过观看和聆听来感知视频中的信息。一个关键的挑战是，在真实的视频中，对象声音不是作为单独的实体而是作为将所有频率混合在一起的单个音频通道来观察的。音频源分离，就是将视频中许多对象混合在一起的声音正确的分离开来，尽管在信号处理领域中进行了广泛的研究，但对于实验室环境以外的自然数据仍然是一个难题。

近年来，随着深度学习的不断发展，盲音频分离任务引发了与图像分割类似的挑战，因为所有声音都在输入信号中重叠，尤其是卷积神经网络在视听结合的表示特征学习上的优异表现，使得音源分离任务能够被端到端的解决。但是在现实情况中，由于各种各样的原因，很多视频中还参杂着噪音甚至混合着许多对象的声音，使得人们无法很清晰的听到属于某一个对象的声音，无法达到准确及时获取信息的效果，一般的音源分离模型很难在这些难样本上具有强泛化和高精度的分离表现。

发明内容

本发明是为了解决上述问题而进行的，目的在于提供一种基于视听觉多模态的视频音源分离方法。

本发明提供了一种基于视听觉多模态的视频音源分离方法，具有这样的特征，包括以下步骤：步骤1，对视频的视觉信息和听觉信息进行特征提取，得到视觉标签和听觉特征；步骤2，将视觉标签和听觉特征放入多实例多标签网络，得到听觉特征与视觉标签的关联值；步骤3，将视频和关联值放入音源分离网络中，得到每一个对象的单独声音，其中，步骤2中，多实例多标签网络的训练包括以下步骤：

步骤2-1，构建初始多实例多标签网络；步骤2-2，将一个视频中所得到的所有音频特征向量作为训练集放入多实例多标签网络中训练，得到每个音频特征向量和所有视觉对象的关联特征图。

在本发明提供的基于视听觉多模态的视频音源分离方法中，还可以具有这样的特征：其中，步骤1包括以下步骤：步骤1-1，通过短时傅里叶变换先得到频谱图，再通过非负矩阵分解得到所有音频向量；步骤1-2，通过ImageNet预训练的ResNet-152网络对视频帧中所出现的对象进行分类预测，得到每个对象对应某种分类的概率，保留概率值在所设定阈值之上的分类标签。

在本发明提供的基于视听觉多模态的视频音源分离方法中，还可以具有这样的特征：其中，步骤2-2包括以下步骤：步骤2-2-1，将训练集中的各个视频的音频向量依次输入多实体多标签模型进行一次迭代，得到多实体多标签模型的输出值；步骤2-2-2，采用多实体多标签模型的输出值计算出多标签铰链损失并将误差反向传播更新参数；步骤2-2-3，重复步骤2-2-1～步骤2-2-2，直到正确分类的预测关联值比错误分类的差值大于阈值1，训练结束，得到多实体多标签模型网络。

在本发明提供的基于视听觉多模态的视频音源分离方法中，还可以具有这样的特征：其中，步骤3包括以下步骤：步骤3-1，将混合音频进行短时傅里叶变换得到频谱图；步骤3-2，通过关联值，得到属于每一个对象的音频向量；步骤3-3，通过逆短时傅里叶变换，以每一个对象的音频向量作为参照，生成每个对象的原始音频。