[发明专利]声音分离方法、装置及计算机可读存储介质

说明书

本发明公开了一种声音分离方法，该方法包括：将原始音视频样本分割成多个音视频段，提取每个音视频段的视频流及音频流；确定每个音视频段的视频流中的人脸特征；利用音频变换压缩方法，获取每个音视频段的音频流中的音频特征；将每个音视频段的人脸特征及音频特征进行结合，生成每个音视频段的视听特征；将每个音视频段的视听特征作为声音分离模型的输入，对所述声音分离模型进行训练，得到训练好的声音分离模型；将所述目标音视频数据作为所述训练好的声音分离模型的输入，输出所述目标音视频数据中人的音频数据。本发明还提出一种声音分离装置以及一种计算机可读存储介质。本发明能实现声音与说话者的准确映射，显著提高语音分离的质量。

技术领域

本发明涉及计算机技术领域，尤其涉及一种声音分离方法、装置及计算机可读存储介质。

背景技术

现有业内或产品的缺陷或不足或问题：在嘈杂的室内环境中，比如在鸡尾酒会中，同时存在着许多不同的声源，人类听觉非常容易从嘈杂的环境中专注于某一声音，自动“屏蔽”掉其他声音，而目前已有的计算机言语识别的智能系统无法准确在嘈杂环境中识别目标语句，无法加强选中人的语音，同时减弱同一时间其他人的音量，现有的系统未能解决“鸡尾酒会效应”。

发明内容

本发明提供一种声音分离方法、装置及计算机可读存储介质，其主要目的在于实现将目标声音从混杂声音中分离出来，实现了特定目标人的语音增强，同时削弱了其他杂音。

为实现上述目的，本发明还提供一种声音分离方法，所述方法包括：

获取原始音视频样本；

将原始音视频样本分割成多个音视频段，提取每个音视频段的视频流及音频流；

确定每个音视频段的视频流中的人脸特征；

利用音频变换压缩方法，获取每个音视频段的音频流中的音频特征；

通过连接学习将每个音视频段的人脸特征及音频特征进行结合，生成每个音视频段的视听特征；

将每个音视频段的视听特征作为声音分离模型的输入，对所述声音分离模型进行训练，得到训练好的声音分离模型；

获取目标音视频数据；

将所述目标音视频数据作为所述训练好的声音分离模型的输入，输出所述目标音视频数据中人的音频数据。

优选地，所述确定每个音视频段的视频流中的人脸特征包括：

将每个音视频段的视频流输入到人脸检测器中；

利用所述人脸检测器，在每个音视频段的视频流中的每帧中查找人脸图像；

使用人脸特征提取网络模型，从检测到的人脸图像中提取人脸特征作为每个音视频段的视频流中的人脸特征。

优选地，所述人脸特征提取网络模型为扩张卷积神经网络结构，所述人脸特征提取网络模型包括：卷积层、降采样层、全链接层，每一层有多个特征图。

优选地，所述利用音频变换压缩方法，获取每个音视频段的音频流中的音频特征包括：

将每个音视频段的音频流中的时间和频率参数输入到短时傅里叶变换模型，得到变换后的信号

对变换后的信号执行幂律压缩，生成每个音视频段的音频流中噪声信号和纯净参考信号；

将每个音视频段的音频流中噪声信号和纯净参考信号输入至训练好的音频特征提取模型中，并输出每个音视频段的音频流中的音频特征。

优选地，所述将每个音视频段的视听特征作为声音分离模型的输入，对所述声音分离模型进行训练，得到训练好的声音分离模型包括：

基于每个音视频段的视听特征，利用LSTM网络及三层全链接网络训练所述声音分离模型。