[发明专利]残留回声抑制模型的训练方法和训练装置

权利要求书

1.一种残留回声抑制模型的训练方法，包括：

基于多个残留回声信号、多个背景噪音信号和多个近端语音信号生成多个混合音频信号，其中，每个混合音频信号包括一个残留回声信号、一个背景噪音信号和一个近端语音信号；

基于所述多个混合音频信号，确定与所述多个混合音频信号对应的多个辅助信号，其中，基于每个混合音频信号中残留回声信号对应的远端信号，确定每个混合音频信号对应的辅助信号；

基于所述多个混合音频信号和所述多个辅助信号训练残留回声抑制模型。

2.根据权利要求1所述的残留回声抑制模型的训练方法，其中，所述基于所述多个混合音频信号和多个辅助信号训练残留回声抑制模型，包括：

每次从所述多个混合音频信号中获取一个混合音频信号，并从所述多个辅助信号中获取一个辅助信号；

通过所述残留回声抑制模型的编码器分别对当前获取的混合音频信号和当前获取的辅助信号进行特征提取，得到第一特征张量和第二特征张量，其中，所述第一特征张量为所述当前获取的混合音频信号的特征张量，所述第二特征张量为所述当前获取的辅助信号的特征张量；

通过所述残留回声抑制模型的双路递归神经网络对所述第一特征张量和所述第二特征张量进行处理，得到第三特征张量；

通过所述残留回声抑制模型的解码器对所述第一特征张量和所述第三特征张量进行纯净语音信号的特征谱估计，基于特征谱估计结果调整所述残留回声抑制模型的参数，以训练所述残留回声网络模型。

3.根据权利要求2所述的残留回声抑制模型的训练方法，其中，所述通过所述残留回声抑制模型的编码器分别对当前获取的混合音频信号和当前获取的辅助信号进行特征提取，得到第一特征张量和第二特征张量，包括：

通过所述残留回声抑制模型的编码器对所述当前获取的混合音频信号进行一维卷积得到所述当前获取的混合音频信号的二维特征谱，并通过所述残留回声抑制模型的编码器对所述当前获取的辅助信号进行一维卷积得到所述当前获取的辅助信号的二维特征谱，其中，所述一维卷积具有预设重叠率；

将所述当前获取的混合音频信号的二维特征谱通过全连接层降维后，划分为多个具有所述预设重叠率的第一特征块，并将所述当前获取的辅助信号的二维特征谱通过全连接层降维后，划分为多个具有所述预设重叠率的第二特征块；

将所述多个具有所述预设重叠率的第一特征块进行特征拼接得到所述第一特征张量，并将所述多个具有所述预设重叠率的第二特征块进行特征拼接得到所述第二特征张量。

4.根据权利要求3所述的残留回声抑制模型的训练方法，所述通过所述残留回声抑制模型的解码器对所述第一特征张量和所述第三特征张量进行纯净语音信号的特征谱估计，包括：

将所述第三特征张量按照所述预设重叠率进行重叠相加操作，得到目标二维特征；

通过带有激活函数的全连接层对所述目标二维特征进行特征维度升维，得到时域特征的掩模估计特征，将所述掩模估计特征与所述混合音频信号的二维特征谱的逐点相乘结果作为所述特征谱估计结果。

5.根据权利要求2所述的残留回声抑制模型的训练方法，其中，所述通过所述残留回声抑制模型的编码器分别对当前获取的混合音频信号和当前获取的辅助信号进行特征提取，得到第一特征张量和第二特征张量，包括：

通过所述残留回声抑制模型的编码器对所述当前获取的混合音频信号的一维波形进行短时傅里叶变换得到第一复数时频谱特征，并通过所述残留回声抑制模型的编码器对所述辅助信号的一维波形进行短时傅里叶变换得到第二复数时频谱特征；

将所述第一复数时频谱特征的实数部分和虚数部分进行特征拼接得到所述第一特征张量，并将所述第二复数时频谱特征的实数部分和虚数部分进行特征拼接得到所述第二特征张量。