[发明专利]知识蒸馏方法、语音识别处理方法及相关设备

权利要求书

1.一种知识蒸馏方法，其特征在于，包括：

对知识蒸馏教师网络进行训练，获得目标教师网络；

根据所述目标教师网络和预设的知识蒸馏损失函数对知识蒸馏学生网络进行蒸馏训练，获得目标学生网络，所述目标教师网络和所述知识蒸馏学生网络均包括N个特征提取网络层；

其中，在蒸馏训练过程中，每一所述特征提取网络层输出的特征向量包括M个第一特征值，所述M个第一特征值基于一一对应的M个第二特征值获得，所述M个第二特征值为所述特征提取网络层中进行特征映射后获得的特征值，在所述第二特征值大于或等于第一预设值的情况下，与所述第二特征值对应的所述第一特征值置为所述第二特征值，所述第一预设值为负数，所述N和所述M均为大于1的整数。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标教师网络和预设的知识蒸馏损失函数对知识蒸馏学生网络进行蒸馏训练，获得目标学生网络包括：

将待训练的样本数据输入到所述目标教师网络和知识蒸馏学生网络进行蒸馏训练；

其中，在蒸馏训练的过程中，利用所述知识蒸馏损失函数对所述目标教师网络和所述知识蒸馏学生网络中每一所述特征提取网络层输出的特征向量进行计算，获得每一所述特征提取网络层对应的损失值，以及基于所述损失值调整所述知识蒸馏学生网络中对应特征提取网络层的网络参数，直至所述知识蒸馏学生网络收敛。

3.根据权利要求1所述的方法，其特征在于，在所述第二特征值小于所述第一预设值的情况下，所述第一特征值置为第二预设值，所述第二预设值为负数。

4.根据权利要求1至3中任一项所述的方法，其特征在于，每一所述特征提取网络层包括卷积块和软间隔线性整流激活函数ReLU；

其中，所述软间隔ReLU连接于所述卷积块之后，所述软间隔ReLU的输入为所述卷积块的输出，所述软间隔ReLU的输出为所述特征向量。

5.根据权利要求1至3中任一项所述的方法，其特征在于，所述知识蒸馏损失函数包括每一所述特征提取网络层对应的子损失函数，所述N个特征提取网络层中任一个目标特征提取网络层对应的目标子损失函数满足：

在所述目标特征提取网络层输出的特征向量中存在至少一个第一特征值值小于0的情况下，所述目标子损失函数为均方误差损失函数；

在所述目标网络层输出的特征向量中所有的所述第一特征值均大于或等于0的情况下，所述目标子损失函数为L1损失函数或L2损失函数。

6.一种语音识别处理方法，其特征在于，包括：

将待识别的语音数据输入到目标学生网络，输出所述语音数据对应的待比对声纹特征向量；

将所述待比对声纹特征向量与目标用户对应的预存声纹特征向量进行度量分类，确定所述语音数据是否为所述目标用户的语音数据；

其中，所述目标学生网络利用权利要求1至5中任一项所述的知识蒸馏方法进行蒸馏训练获得。

7.一种知识蒸馏装置，其特征在于，包括：

第一训练模块，用于对知识蒸馏教师网络进行训练，获得目标教师网络；

第二训练模块，用于根据所述目标教师网络和预设的知识蒸馏损失函数对知识蒸馏学生网络进行蒸馏训练，获得目标学生网络；

其中，所述目标教师网络和知识蒸馏学生网络均包括N个特征提取网络层，在蒸馏训练过程中，每一所述特征提取网络层输出的特征向量包括M个第一特征值，所述M个第一特征值基于一一对应的M个第二特征值获得，所述M个第二特征值为所述特征提取网络层中进行特征映射后获得的特征值，在所述第二特征值大于或等于第一预设值的情况下，与所述第二特征值对应的所述第一特征值等于所述第二特征值，所述第一预设值为负数，N和M均为大于1的整数。