[发明专利]语音转化方法、装置、设备及存储介质

权利要求书

1.一种语音转化方法，其特征在于，包括：

获取第一语音；

将所述第一语音输入训练好的语音转化模型的第一编码器，得到所述第一编码器输出的语言表达特征向量；

基于语言表达特征库，根据所述语言表达特征向量确定目标表达特征向量；

将所述第一语音输入所述语音转化模型的语音识别子模型，得到所述语音识别子模型输出的与所述第一语音对应的文本向量；

对所述目标表达特征向量和所述文本向量进行向量整合，得到第一整合语音向量；

将所述第一整合语音向量输入所述语音转化模型的语音生成子模型，得到所述语音生成子模型输出的第二语音。

2.如权利要求1所述的语音转化方法，其特征在于，所述语言表达特征库包括多个表达特征向量，所述基于语言表达特征库，根据所述语言表达特征向量确定目标表达特征向量，包括：

计算所述语言表达特征向量与所述语言表达特征库中各个所述表达特征向量的向量差；

响应于输入指令，确定向量差范围；

确定所述向量差大小在所述向量差范围内的表达特征向量为目标表达特征向量。

3.如权利要求1所述的语音转化方法，其特征在于，所述对所述目标表达特征向量和所述文本向量进行向量整合，得到第一整合语音向量，包括：

将所述目标表达特征向量以及所述文本向量输入所述语音转化模型的解码器进行向量对齐，得到对齐后的目标表达特征向量和文本向量；

将对齐后的目标表达特征向量和文本向量进行合并，得到第二语音的语音向量。

4.如权利要求1-3任一项所述的语音转化方法，其特征在于，所述将所述第一语音输入所述语音转化模型的语音识别子模型，得到所述语音识别子模型输出的与所述第一语音对应的文本向量，包括：

将所述第一语音输入所述语音识别子模型的卷积层进行特征提取处理，得到第一语音的语音向量；

将所述第一语音的语音向量输入所述语音识别子模型的时序分类层进行转换处理，得到与所述第一语音对应的文本向量。

5.如权利要求1-3任一项所述的语音转化方法，其特征在于，所述方法还包括：

获取训练数据，所述训练数据包括多个第三语音和各所述第三语音对应的文本；

根据所述训练数据对所述语音转化模型进行训练，得到训练好的语音转化模型。

6.如权利要求5所述的语音转化方法，其特征在于，所述方法还包括：

将所述第三语音输入所述语音识别子模型的卷积层中，得到所述卷积层输出的第三语音的语音向量；

将所述第三语音的语音向量分割成预设数量的帧，其中，每一帧语音向量包括多个音素向量单元，预设数量为大于0的自然数；

对每一帧语音向量中的多个音素向量单元进行聚类，得到多个聚类中心；

计算每一帧语音向量与各所述聚类中心的距离；

根据每一帧语音向量到各所述聚类中心的距离确定每一帧语音向量的权重；

所述根据所述训练数据对所述语音转化模型进行训练，得到训练好的语音转化模型，包括：

根据所述每一帧语音向量的权重、所述第三语音的语音向量和所述文本对所述语音转化模型进行训练。

7.如权利要求6所述的语音转化方法，其特征在于，所述根据所述每一帧语音向量的权重、所述第三语音的语音向量和所述文本对所述语音转化模型进行训练，包括：

将所述文本输入所述语音转化模型的第二编码器，得到文本序列向量；

确定目标表达特征向量，对所述文本序列向量和所述目标表达特征向量进行向量整合，得到第二整合语音向量；

将所述第二整合语音向量、所述第三语音的语音向量和所述第三语音的语音向量中每一帧对应的权重输入所述语音转化模型的解码器，通过预设公式计算偏差值；

根据所述偏差值调整所述语音转化模型的参数，得到训练好的语音转化模型。