[发明专利]自组织麦克风阵列下基于注意力的多通道说话人确认方法

说明书

本发明公开了一种自组织麦克风阵列下基于注意力的多通道说话人确认方法，在单通道自动说话人确认系统的基础上，加入通道间处理模块，使其在自组织麦克风阵列下进行远场声纹确认。包括如下步骤：1)在单通道ASV系统的池化层之后加入了基于残差自注意力的通道间处理层和全局融合层以充分利用多通道信息进行说话人识别：通道间处理层旨在学习通道权重，全局融合层融合所有通道的信息；2)为了使噪声通道的通道权重为零，将残差自注意模块中的softmax算子改进为sparsemax算子。在Libri‑adhoc‑simu数据集上的结果表明，Sparsemax的多通道ASV系统实现了低于oracle one‑best基线20％多的等错误率；在Libri‑adhoc40数据集上的结果表明，Sparsemax的多通道ASV系统实现了低于oracle one‑best基线30％多的EER，实现了优越的性能。

技术领域

本发明属于语音识别技术领域，具体涉及一种基于注意力的多通道说话人确认方法。

背景技术

近年来，自动说话人确认(Automatic Speaker Verification,ASV)的性能得到显著提高，如基于i-vector和基于深度神经网络的方法(Deep Neural Network,DNN)发展迅速，然而这些进展是在干扰较小的近距离交谈场景下实现的。随着智能设备的快速发展，对远场语音交互的需求将继续增长，由于语音信号的衰减、噪声干扰以及空间混响，包括ASV在内的远场语音处理任务仍然具有挑战性。

为解决上述的挑战性问题，在ASV系统的单通道和多通道前端提出了许多降噪、去混响以及语音增强的方法，麦克风阵列也是提高ASV性能的一种重要方法。然而，当说话人和麦克风阵列之间的距离增大时，语音质量显著下降，因此无论向阵列中添加多少麦克风，ASV的性能在物理上都是有上限的。与固定麦克风阵列相比，ad-hoc(自组织)麦克风阵列由一组随机放置在声学环境中的麦克风节点组成，提供了更多的灵活性，并允许用户使用他们自己的移动设备虚拟形成麦克风阵列系统。近年来，ad-hoc麦克风阵列被广泛应用于语音分离以及语音识别等领域。

与传统的麦克风阵列设置不同，ad-hoc麦克风阵列的麦克风的空间排列和数量事先不可知，这阻碍了传统的说话人确认技术在ad-hoc麦克风阵列下的应用。

发明内容

为了克服现有技术的不足，本发明提供了一种自组织麦克风阵列下基于注意力的多通道说话人确认方法，在单通道自动说话人确认系统的基础上，加入通道间处理模块，使其在自组织麦克风阵列下进行远场声纹确认。包括如下步骤：1)在单通道ASV系统的池化层之后加入了基于残差自注意力的通道间处理层和全局融合层以充分利用多通道信息进行说话人识别：通道间处理层旨在学习通道权重，全局融合层融合所有通道的信息；2)为了使噪声通道的通道权重为零，将残差自注意模块中的softmax算子改进为sparsemax算子。在Libri-adhoc-simu数据集上的结果表明，Sparsemax的多通道ASV系统实现了低于oracleone-best基线20％多的等错误率；在Libri-adhoc40数据集上的结果表明，Sparsemax的多通道ASV系统实现了低于oracle one-best基线30％多的EER，实现了优越的性能。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：构建单通道说话人确认系统；

所述单通道说话人确认系统网络结构包括三部分：前端残差卷积神经网络ResNet、自注意力池化SAP层和全连接层；ResNet将原始特征转换为高级抽象表示，接在ResNet后的SAP层输出单个句子级表示，之后，全连接层将单个句子级表示处理为句子级说话人嵌入；单通道说话人确认系统采用端到端的方式和角度原型损失函数进行联合优化；

步骤2：构建多通道说话人确认系统；

所述多通道说话人确认系统是在C个并行的单通道系统的SAP层之后设置多个级联的基于残差自注意力的通道间处理层和全局融合层，在全局融合层后设置全连接层；