[发明专利]语音识别模型的生成方法、语音识别方法、装置及设备

权利要求书

1.一种语音识别模型的生成方法，其特征在于，包括：

获取多元语音样本数据组合，所述多元语音样本数据组合包括多个不同样本类型的语音数据；

通过孪生神经网络的特征提取模块，对所述多元语音样本数据组合进行特征提取，得到表征不同样本类型的语音特征向量；

通过所述孪生神经网络的相似计算模块，确定所述表征不同样本类型的语音特征向量之间的相似度；

根据所述表征不同样本类型的语音特征向量之间的相似度对所述孪生神经网络进行训练，得到训练后的孪生神经网络；

使用训练后的所述孪生神经网络的特征提取模块构建语音识别模型。

2.根据权利要求1所述的方法，其特征在于，所述获取多元语音样本数据组合，具体包括：

获取目标说话人的语音数据作为锚点样本；

获取与所述锚点样本在表征说话人的属性维度上相同的语音数据作为正样本；

获取与所述锚点样本在表征说话人的属性维度上不同的语音数据作为负样本；

将所述锚点样本、所述正样本和所述负样本构建为所述多元语音样本数据组合。

3.根据权利要求1所述的方法，其特征在于，所述获取多元语音样本数据组合，具体包括：

获取目标说话人的语音数据作为锚点样本；

获取与所述锚点样本在表征说话人的属性维度上相同的语音数据作为正样本；

获取与所述锚点样本在表征说话人的属性维度上不同的语音数据作为负样本；

获取与所述目标说话人不同，但与所述锚点样本在表征至少一个语音特征的属性维度上相同的语音数据作为硬负样本；

将所述锚点样本、所述正样本、所述负样本和所述硬负样本构建为所述多元语音样本数据组合。

4.根据权利要求1所述的方法，其特征在于，所述通过孪生神经网络的特征提取模块，对所述多元语音样本数据组合进行特征提取，得到表征不同样本类型的语音特征向量，具体包括：

针对所述多元语音样本数据组合中的每个样本类型的语音数据执行以下操作：

对所述语音数据进行傅里叶变换，得到对应的频率成分；

将所述频率成分转换为对应的频谱特征矩阵，并输入至所述孪生神经网络的特征提取模块进行编码处理，得到对应的语音特征向量。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述通过所述孪生神经网络的相似计算模块，确定所述表征不同样本类型的语音特征向量之间的相似度，具体包括：

通过所述孪生神经网络的相似计算模块执行以下至少一种操作：

计算锚点样本的语音特征向量与正样本的语音特征向量之间的相似度；

计算锚点样本的语音特征向量与负样本的语音特征向量之间的相似度；

计算锚点样本的语音特征向量与硬负样本的语音特征向量之间的相似度。

6.根据权利要求1所述的方法，其特征在于，所述根据所述表征不同样本类型的语音特征向量之间的相似度对所述孪生神经网络进行训练，得到训练后的孪生神经网络，具体包括：

将所述表征不同样本类型的语音特征向量之间的相似度带入至预先设置的损失函数，计算得到损失值；

在所述损失值不小于第一预设阈值的情况下，对所述特征提取模块中的参数进行调整，直至所述损失值小于第一预设阈值时停止训练，得到训练后的所述孪生神经网络的特征提取模块。

7.根据权利要求6所述的方法，其特征在于，在所述将所述表征不同样本类型的语音特征向量之间的相似度带入至预先设置的损失函数，计算得到损失值之前，所述方法还包括：

利用所述语音数据的样本类型之间的差异性，对所述孪生神经网络设置学习任务要求；

根据所述学习任务要求，设置所述孪生神经网络的损失函数。