[发明专利]语音识别及模型训练的方法、设备、存储介质及程序产品

权利要求书

1.一种语音识别模型训练的方法，包括：

将训练数据中多说话者的单通道混合音频的特征数据，输入语音识别模型，通过所述语音识别模型确定每一说话者对应的内容文本特征，并对所述每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息；

根据所述每一说话者对应的内容文本特征确定第一损失，并根据每一说话者的输出文本信息和实际文本信息确定第二损失，其中，所述第一损失用于衡量不同说话者对应的内容文本特征之间的相似度，所述第二损失用于衡量同一说话者的输出文本信息和实际文本信息之间的差异；

根据所述第一损失和所述第二损失，更新所述语音识别模型的模型参数；

其中，所述语音识别模型用于根据输入的多说话者的单通道混合音频，识别出每一说话者的说话内容的文本信息。

2.根据权利要求1所述的方法，其中，所述将训练数据中多说话者的单通道混合音频的特征数据，输入语音识别模型，通过所述语音识别模型确定每一说话者对应的内容文本特征，并对所述每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息，包括：

将所述特征数据输入所述语音识别模型的混合编码器，通过所述混合编码器强化所述特征数据中的说话者特征，得到中间特征；

将所述中间特征分别输入所述语音识别模型的多个分离编码器，通过所述多个分离编码器分别强化不同说话者的特征，输出每一说话者的包含说话者特征的特征向量，其中，不同的所述分离编码器用于强化不同说话者的特征；

将每一说话者的包含说话者特征的特征向量，分别输入所述语音识别模型的一语音识别编码器，通过所述语音识别编码器提取文本内容特征，得到每一说话者的内容文本特征；

将每一说话者对应的内容文本特征输入所述语音识别模型的解码器，对每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息。

3.根据权利要求2所述的方法，其中，所述语音识别模型的分离编码器与语音识别编码器对应，每一分离编码器的输出，作为对应的语音识别编码器的输入；

所述多个分离编码器的结构相同且参数不共享；

所述语音识别模型的多个语音识别编码器的结构相同且参数不共享。

4.根据权利要求3所述的方法，其中，所述语音识别模型包括多个解码器，解码器与语音识别编码器一一对应；

所述多个解码器的结构相同且参数共享。

5.根据权利要求1-4中任一项所述的方法，其中，所述根据所述每一说话者对应的内容文本特征确定第一损失，包括：

根据所述每一说话者对应的内容文本特征，确定任意两个所述内容文本特征之间的相对熵；

根据任意两个所述内容文本特征之间的相对熵，确定第一损失。

6.根据权利要求1-5中任一项所述的方法，其中，所述根据每一说话者的输出文本信息和实际文本信息确定第二损失，包括：

根据每一说话者的输出文本信息，和训练数据中每一说话者的实际文本信息，采用置换不变训练法确定最小交叉熵损失；

将所述最小交叉熵损失作为第二损失。

7.根据权利要求6所述的方法，其中，所述根据每一说话者的输出文本信息，和训练数据中每一说话者的实际文本信息，采用置换不变训练法确定最小交叉熵损失，包括：

采用置换不变训练法，将说话者的输出文本信息与说话者的实际文本信息进行配对，确定多种配对方案；

根据每种配对方案，计算对应的交叉熵损失；

确定所述交叉熵损失中的最小值，得到最小交叉熵损失。