[发明专利]语音数据的分离方法、装置、设备及存储介质

权利要求书

1.一种语音数据的分离方法，其特征在于，包括：

获取待分离语音数据，并将所述待分离语音数据输入至人声分离模型；

对所述待分离语音数据进行多通道子频带处理，得到多个全频数据和多个子频带数据；其中，一个所述全频数据对应多个所述子频带数据；

对各所述全频数据以及与各所述全频数据对应的所有所述子频带数据进行人声频率特征提取，根据提取的所述人声频率特征进行人声频率点识别，得到与各所述全频数据一一对应的人声识别矩阵；

运用二值掩蔽方法，对所有所述人声识别矩阵进行掩码拼接处理，得到分离掩码结果；

根据所述分离掩码结果，对所述待分离语音数据进行人声分离，得到与所述待分离语音数据对应的人声音频数据。

2.如权利要求1所述的语音数据的分离方法，其特征在于，所述对所述待分离语音数据进行多通道子频带处理，得到多个全频数据和多个子频带数据，包括：

对所述待分离语音数据进行短时傅里叶变换处理，得到多个全频频谱图；所述人声分离模型包括一个全频特征提取模型和多个子频带特征提取模型，一个子频带特征提取模型对应一个子频带；

对各所述全频频谱图进行频带分解，得到与各所述全频频谱图对应的子频带频谱图；一个所述全频频谱图对应预设子频带个数的所述子频带频谱图，且每一个所述子频带频谱图对应一个子频带；

将各所述全频频谱图输入全频特征提取模型，通过所述全频特征提取模型对所述全频频谱图中的全频特征进行提取，得到与各所述全频频谱图一一对应的所述全频数据；

将各所述子频带频谱图输入与其子频带对应的子频带特征提取模型，通过各所述子频带特征提取模型提取各所述子频带频谱图中的与其子频带对应的音频特征，得到与各所述子频带频谱图一一对应的所述子频带数据。

3.如权利要求2所述的语音数据的分离方法，其特征在于，所述子频带包括低频频带和高频频带；

所述将各所述子频带频谱图输入与其子频带对应的子频带特征提取模型，通过各所述子频带特征提取模型提取各所述子频带频谱图中的与其子频带对应的音频特征，得到与各所述子频带频谱图一一对应的所述子频带数据，包括：

将与所述低频频带对应的所述子频带频谱图输入与所述低频频带对应的低频子频带特征提取模型，通过所述低频子频带特征提取模型对所述子频带频谱图进行低频频带的音频特征的提取，得到低频频带的所述子频带数据；所述低频子频带特征提取模型为基于MMDenseNet的深度学习模型；

将与所述高频频带对应的所述子频带频谱图输入与所述高频频带对应的高频子频带特征提取模型，通过所述高频子频带特征提取模型对所述子频带频谱图进行高频频带的音频特征的提取，得到高频频带的所述子频带数据；所述高频子频带特征提取模型为基于MMDenseNet的深度学习模型。

4.如权利要求1所述的语音数据的分离方法，其特征在于，所述对各所述全频数据以及与各所述全频数据对应的所有所述子频带数据进行人声频率特征提取，根据提取的所述人声频率特征进行人声频率点识别，得到与各所述全频数据一一对应的人声识别矩阵，包括：

对所述全频数据和与该全频数据对应的所有所述子频带数据进行多通道下采样，提取所述人声频率特征，得到与该全频数据对应的全频下采样特征向量，以及多个与所述子频带数据对应的子频带下采样特征向量；

根据所述全频下采样特征向量，对各所述子频带下采样特征向量进行联动的上采样，识别出与各所述子频带数据对应的子频带识别矩阵；

将所有与所述全频数据相对应的所述子频带识别矩阵进行串联，得到与该全频数据对应的所述人声识别矩阵。

5.如权利要求1所述的语音数据的分离方法，其特征在于，所述运用二值掩蔽方法，对所有所述人声识别矩阵进行掩码拼接处理，得到分离掩码结果，包括：

对所有所述人声识别矩阵按照时序方式拼接，对重叠的矩阵部分进行均值处理，得到待处理人声矩阵；

对所述待处理人声矩阵进行权重加成，得到待掩码矩阵；

运用二值掩蔽方法，对所述待掩码矩阵进行掩码处理，得到所述分离掩码结果。