[发明专利]一种多模态语音分离方法及系统

权利要求书

1.一种多模态语音分离方法，其特征是，包括：

接收待识别对象的混合声音及待识别对象的面部视觉信息，并通过人脸检测得出待识别对象的数量；

将上述数据进行预处理获得混合语音的复语谱图以及待识别对象的人脸图像并传输至多模态语音分离模型中，根据待识别对象的数量动态调整模型的结构；

所述多模态语音分离模型输出对应说话人的数量的复数域理想比值掩蔽；

将输出的复数域理想比值掩蔽与混合声音的语谱图进行复数相乘便得到语谱图，对语谱图作变换计算得到声音的时域信号，从而完成语音分离；

所述多模态语音分离模型由声音特征提取网络、视觉特征提取网络以及音视频融合网络组成；

声音特征提取网络中使用不同的CNN分别提取高频与低频声音特征；

将低频声音特征和高频声音特征连接起来，实现第一阶段融合，接着使用TCN继续提取声音特征；

视觉特征提取网络，对于输入的人脸图像，使用多个卷积层提取视觉特征，并且给每个卷积核插入“空洞”来变相增加其大小，以此来增加感受野；

音视频融合网络，将经过声音特征提取网络和视觉特征提取网络后得到的声音特征与视觉特征进行连接，得到音视频融合特征，实现特征的第二阶段的融合；

使用不同的特征提取器分别提取高频与低频声音特征，具体为：

通过STFT将混合声音的时域信号转化为复语谱图，接着在频率维度上将复语谱图分割成高频部分和低频部分；

使用两流CNN分别提取低频声音特征和高频声音特征，其中每个流包含了两个卷积层，对于提取高频特征的网络层和提取低频特征的网络层，使用不同的膨胀参数；

将高频声音特征与低频声音特征进行融合，实现特征的第一阶段融合；

将TCN内的一维卷积网络层修改为二维卷积网络层，使得TCN能够处理声音特征提取网络的输出数据。

2.如权利要求1所述的一种多模态语音分离方法，其特征是，

所述多模态语音分离模型在训练过程中，使用复数域理想比值掩蔽cIRM作为训练目标，cIRM在复数域中定义为干净声音语谱图与混合声音语谱图之间的比率，由实部与虚部组成并且包含了声音的幅值与相位信息。

3.如权利要求1所述的一种多模态语音分离方法，其特征是，对视觉特征提取网络的输出进行上采样以补偿音频和视频信号之间的采样率差异；

将声音特征与视觉特征进行融合，实现特征的第二阶段融合。

4.如权利要求1所述的一种多模态语音分离方法，其特征是，所述多模态语音分离模型将音视频融合后的特征输入到全连接层，全连接层输出对应人脸的数量个cIRM，其中每个掩蔽都对应一个识别对象，这些掩蔽对应说话人的顺序与在音视频融合过程中视觉特征的连接所对应的说话人顺序相同。