[发明专利]一种基于视听觉多模态的视频音源分离方法

权利要求书

1.一种基于视听觉多模态的视频音源分离方法，其特征在于，包括以下步骤：

步骤1，对视频的视觉信息和听觉信息进行特征提取，得到视觉标签和听觉特征；

步骤2，将所述视觉标签和所述听觉特征放入多实例多标签网络，得到听觉特征与视觉标签的关联值；

步骤3，将所述视频和所述关联值放入音源分离网络中，得到每一个对象的单独声音，

其中，步骤2中，所述多实例多标签网络的训练包括以下步骤：

步骤2-1，构建初始多实例多标签网络；

步骤2-2，将一个视频中所得到的所有音频特征向量作为训练集放入所述多实例多标签网络中训练，得到每个音频特征向量和所有视觉对象的关联特征图。

2.根据权利要求1所述的基于视听觉多模态的视频音源分离方法，其特征在于：

其中，步骤1包括以下步骤：

步骤1-1，通过短时傅里叶变换先得到频谱图，再通过非负矩阵分解得到所有音频向量；

步骤1-2，通过ImageNet预训练的ResNet-152网络对视频帧中所出现的对象进行分类预测，得到每个对象对应某种分类的概率，保留概率值在所设定阈值之上的分类标签。

3.根据权利要求1所述的基于视听觉多模态的视频音源分离方法，其特征在于：

其中，步骤2-2包括以下步骤：

步骤2-2-1，将所述训练集中的各个视频的音频向量依次输入所述多实体多标签模型进行一次迭代，得到所述多实体多标签模型的输出值；

步骤2-2-2，采用所述多实体多标签模型的输出值计算出多标签铰链损失并将误差反向传播更新参数；

步骤2-2-3，重复步骤2-2-2，直到正确分类的预测关联值比错误分类的差值大于阈值1，训练结束，得到多实体多标签模型网络。

4.根据权利要求1所述的基于视听觉多模态的视频音源分离方法，其特征在于：

其中，步骤3包括以下步骤：

步骤3-1，将混合音频进行短时傅里叶变换得到频谱图；

步骤3-2，通过所述关联值，得到属于每一个对象的音频向量；

步骤3-3，通过逆短时傅里叶变换，以所述每一个对象的音频向量作为参照，生成每个对象的原始音频。

5.根据权利要求1所述的基于视听觉多模态的视频音源分离方法，其特征在于：

其中所述多实体多标签模型包括依次设置的输入层、全连接层、归一化层、RELU、1x1卷积层、归一化层、RELU以及两个最大池化层。