[发明专利]基于文本的语音合成方法、装置、设备及存储介质

权利要求书

1.一种基于文本的语音合成方法，其特征在于，所述方法包括：

获取金融业务知识训练数据集，其中，所述金融业务知识训练数据集中每个训练数据为训练语音或训练文本；

获取初始语音合成模型，其中，所述初始语音合成模型包括：语音转文本模块及文本转语音模块；

任意选取所述金融业务知识训练数据集中的一个训练数据，得到目标训练数据；

根据所述目标训练数据的数据类型将所述语音转文本模块及所述文本转语音模块，分别确定为反馈模块及标记训练模块，并利用所述反馈模块对所述目标训练数据进行数据转换，得到反馈数据，利用所述标记训练模块对所述反馈数据进行数据转换，得到转换数据，其中，所述目标训练数据与所述转换数据的数据类型相同，所述目标训练数据与所述反馈数据的数据类型不同，所述数据类型为文本类型或语音类型；

利用预构建的损失函数计算所述目标训练数据及所述转换数据的差异，得到目标损失值；

当所述目标损失值不小于所述损失阈值，更新所述初始语音合成模型的模型参数，并返回所述任意选取所述金融业务知识训练数据集中的一个训练数据步骤；

当所述目标损失值小于所述损失阈值，输出此时的初始语音合成模型，得到目标语音合成模型；

当接收到待解说普及的金融业务知识文本时，利用所述目标语音合成模型中的文本转语音模块进行语音合成，得到合成语音。

2.如权利要求1所述的基于文本的语音合成方法，其特征在于，所述根据所述目标训练数据的数据类型将所述语音转文本模块及所述文本转语音模块，分别确定为反馈模块及标记训练模块，并利用所述反馈模块对所述目标训练数据进行数据转换，得到反馈数据，利用所述标记训练模块对所述反馈数据进行数据转换，得到转换数据，包括：

当所述目标训练数据的数据类型为文本类型时，将所述文本转语音模块确定为所述反馈模块，将所述语音转文本模块确定为所述标记训练模块；

利用所述反馈模块将所述目标训练数据转换为语音形式，得到所述反馈数据；

利用所述标记训练模块将所述反馈数据转换为文本形式，得到所述转换数据；

当所述目标训练数据的数据类型为语音类型时，将所述语音转文本模块确定为所述反馈模块，将所述文本转语音模块确定为所述标记训练模块；

利用所述反馈模块将所述目标训练数据转换为文本形式，得到所述反馈数据；

利用所述标记训练模块将所述反馈数据转换为语音形式，得到所述转换数据。

3.如权利要求1所述的基于文本的语音合成方法，其特征在于，所述利用预构建的损失函数计算所述目标训练数据及所述转换数据的差异，得到目标损失值，包括：

将所述目标训练数据转换为目标训练向量；

将所述转换数据转换为转换数据向量；

利用所述损失函数计算所述目标训练向量与所述转换数据向量的差异，得到所述目标损失值。

4.如权利要求3中所述的基于文本的语音合成方法，其特征在于，所述将所述目标训练数据转换为目标训练向量，包括：

当所述目标训练数据的数据类型为文本类型时，

对所述目标训练数据进行分词，得到一个或多个分词词语；

将每个所述分词词语映射为一个数值向量，得到对应分词词语向量；

将所有所述分词词语向量进行组合，并将组合后的向量进行维度压缩，得到所述目标训练向量；

当所述目标训练数据的数据类型为语音类型时，

将所述目标训练数据进行语音分帧，得到多个语音帧；

对每个所述语音帧进行离散傅里叶变换，以将每个所述语音帧的时域信号转换为频域信号，得到每个所述语音帧的频域特征信息；

基于每个所述语音帧的频域特征信息进行向量特征转换，得到每个所述语音帧的语音帧向量；

对所有所述语音帧向量进行特征提取，得到所述目标训练向量。

5.如权利要求4所述的基于文本的语音合成方法，其特征在于，所述将所有所述分词词语向量进行组合，并将组合后的向量进行维度压缩，得到所述目标训练向量，包括：

将每个所述分词词语向量按照对应的分词词语所述目标训练数据中的先后顺序进行组合，得到文本向量序列；

将所述文本向量序列中每一行替换为该行所有元素的平均值，得到所述目标训练向量。