[发明专利]一种合成语音与文本对齐的方法、装置及计算机储存介质

权利要求书

1.一种合成语音与文本对齐的方法，其特征在于，包括：

在待合成文本的每个字后面加入位置标签；

对带位置标签的文本进行文本预处理及音素转换得到音素序列；

将音素序列输入语音合成模型，预测音素的时长信息和声学特征；

将声学特征通过声码器转换为合成语音；

累加位于每个位置标签前面音素的时长信息，得到每个位置标签在合成语音中的时间信息；

所述累加位于每个位置标签前面音素的时长信息，得到每个位置标签在合成语音中的时间信息的方法，包括：参考未剔除位置标签的音素序列，计算每个位置标签前面包含的音素，并累加这些音素的时长信息；每个字符在合成音频中对应的起止点，分别为其前后位置标签的时间信息。

2.根据权利要求1所述的合成语音与文本对齐的方法，其特征在于，所述对带位置标签的文本进行文本预处理的方法，包括：对带位置标签的文本中的非法字符进行剔除、文本规则化以及韵律预测，在进行文本预处理过程中，保持位置标签在序列中的相对位置。

3.根据权利要求2所述的合成语音与文本对齐的方法，其特征在于，所述对带位置标签的文本进行音素转换方法，包括：采用汉字转拼音，拼音拆分成声韵母音素的转换方法，在进行音素转换过程中，保持位置标签在序列中的相对位置。

4.根据权利要求1所述的合成语音与文本对齐的方法，其特征在于，所述将音素序列输入语音合成模型，预测音素的时长信息和声学特征的方法，包括：将所述音素序列中的位置标签剔除，并将音素序列编码为数字序列，输入语音合成模型；语音合成模型进行前向运算，输出时长信息序列和声学特征序列。

5.根据权利要求4所述的合成语音与文本对齐的方法，其特征在于，所述将音素序列输入语音合成模型，预测音素的时长信息和声学特征之前，还包括：对所述语音合成模型的制作。

6.根据权利要求5所述的合成语音与文本对齐的方法，其特征在于，所述语音合成模型的制作包括训练数据获取、输入输出特征提取、模型设计及模型训练；

训练数据包括音频和标注信息，标注信息包括音素、韵律标记及每个音素的时长信息；

输入特征为音素序列数值化后的序列，输出特征包括每个音素的时长信息，以及基于音频提取的Mel频谱特征；

模型结构设计采用编码器解码器结构，输入特征经嵌入编码后，加上位置编码的信息，送入编码器，预测每个音素的时长信息，并通过解码器输出声学特征，模型的损失函数设置为音素的预测时长信息与真实时长信息距离以及预测Mel频谱与真实Mel频谱距离的加权和；

模型的训练通过梯度下降算法，最小化模型的损失函数，直至模型的损失函数收敛。

7.根据权利要求1所述的合成语音与文本对齐的方法，其特征在于，所述将声学特征通过声码器转换为合成语音的方法，包括：基于纯数字信号处理的声码器；或基于人工神经网络的声码器。

8.一种合成语音与文本对齐的装置，其特征在于，包括：

标签添加模块，用于在待合成文本的每个字后面加入位置标签；

音素转换模块，用于对带位置标签的文本进行文本预处理及音素转换得到音素序列；

预测模块，用于将音素序列输入语音合成模型，预测音素的时长信息和声学特征；

语音合成模块，将声学特征通过声码器转换为合成语音；

标签对齐模块，用于累加位于每个位置标签前面音素的时长信息，得到每个位置标签在合成语音中的时间信息；

所述累加位于每个位置标签前面音素的时长信息，得到每个位置标签在合成语音中的时间信息的方法，包括：参考未剔除位置标签的音素序列，计算每个位置标签前面包含的音素，并累加这些音素的时长信息；每个字符在合成音频中对应的起止点，分别为其前后位置标签的时间信息。

9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述合成语音与文本对齐方法的步骤。