[发明专利]知识蒸馏方法、语音识别处理方法及相关设备

说明书

本申请提供一种知识蒸馏方法、语音识别处理方法及相关设备，该方法包括：对知识蒸馏教师网络进行训练，获得目标教师网络；根据目标教师网络和预设的知识蒸馏损失函数对知识蒸馏学生网络进行蒸馏训练，获得目标学生网络，目标教师网络和知识蒸馏学生网络均包括N个特征提取网络层；其中，在蒸馏训练过程中，每一特征提取网络层输出的特征向量包括M个第一特征值，M个第一特征值基于一一对应的M个第二特征值获得，M个第二特征值为特征提取网络层中进行特征映射后获得的特征值，在第二特征值大于或等于第一预设值的情况下，与第二特征值对应的第一特征值置为第二特征值，第一预设值为负数。采用本申请实施例可提升模型进行声纹识别的速度。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种知识蒸馏方法、语音识别处理方法及相关设备。

背景技术

随着人工智能的发展，声纹认证获得了广泛的应用。然而，在声纹系统的应用时，由于声纹特征的复杂性，通常需要设计复杂的深度学习网络模型，通过训练深度学习网络模型实现声纹特征的识别。目前，由于深度学习网络模型大而冗余，导致识别速度较慢，难以满足实时性要求。

发明内容

本申请实施例提供一种知识蒸馏方法、语音识别处理方法及相关设备，用于提升模型进行声纹识别的速度。

第一方面，本申请实施例提供了一种知识蒸馏方法，包括：

对知识蒸馏教师网络进行训练，获得目标教师网络；

根据所述目标教师网络和预设的知识蒸馏损失函数对知识蒸馏学生网络进行蒸馏训练，获得目标学生网络，所述目标教师网络和所述知识蒸馏学生网络均包括N个特征提取网络层；

其中，在蒸馏训练过程中，每一所述特征提取网络层输出的特征向量包括M个第一特征值，所述M个第一特征值基于一一对应的M个第二特征值获得，所述M个第二特征值为所述特征提取网络层中进行特征映射后获得的特征值，在所述第二特征值大于或等于第一预设值的情况下，与所述第二特征值对应的所述第一特征值置为所述第二特征值，所述第一预设值为负数，所述N和所述M均为大于1的整数。

可以看出，本申请实施例中，由于利用预先训练获得的目标教师网络训练知识蒸馏学生网络，从而使得知识蒸馏学生网络可以学习到目标教师网络中其主要正向作用的参数，这样可以使得知识蒸馏学生网络能够效仿目标教师网络的声纹识别能力。在利用目标学生网络进行声纹识别时，可以保证声纹识别的准确度，与此同时可以减少计算量，提升声纹识别的速度。

另外，在第二特征值大于或等于第一预设值的情况下，与第二特征值对应的第一特征值置为第二特征值，第一预设值为负数，即当反馈的负值在一定范围区间内时，仍然按照原始的负值进行反馈。这样，可以有效避免了出现负反馈时，直接导致反馈信息不在学生网络中传递，使得反馈信息被抑制的现象，从而可以使得知识蒸馏学生网络可以更好的学习到目标教师网络的参数。

第二方面，本申请实施例提供了一种语音识别处理方法，包括：

将待识别的语音数据输入到目标学生网络，输出所述语音数据对应的待比对声纹特征向量；

将所述待比对声纹特征向量与目标用户对应的预存声纹特征向量进行度量分类，确定所述语音数据是否为所述目标用户的语音数据；

其中，所述目标学生网络利用第一方面提供的知识蒸馏方法进行蒸馏训练获得。

可以看出，本申请实施例中，由于采用了第一方面提供的知识蒸馏方法进行蒸馏训练获得的目标学生网络进行声纹识别，从而可以在声纹识别的过程中保证声纹识别的准确度，与此同时可以减少计算量，提升声纹识别的速度。

第三方面，本申请实施例还提供了一种知识蒸馏装置，包括：

第一训练模块，用于对知识蒸馏教师网络进行训练，获得目标教师网络；