[发明专利]利用多级别上下文特征的神经文本到语音合成

权利要求书

1.一种用于通过神经文本到语音(TTS)合成来生成语音的方法，包括：

获得文本输入；

生成所述文本输入的音素特征；

基于与所述文本输入相关联的一组句子来生成所述文本输入的上下文特征；以及

基于所述音素特征和所述上下文特征来生成与所述文本输入相对应的语音波形。

2.根据权利要求1所述的方法，其中，所述生成所述音素特征包括：

从所述文本输入中识别音素序列；以及

基于所述音素序列来生成所述音素特征。

3.根据权利要求1所述的方法，其中，所述生成所述上下文特征包括：

获得与所述一组句子中位于所述文本输入之前的至少一个句子相对应的声学特征；以及

基于所述声学特征来生成所述上下文特征。

4.根据权利要求3所述的方法，还包括：

将所述上下文特征与所述文本输入的音素序列对准。

5.根据权利要求1所述的方法，其中，所述生成所述上下文特征包括：

从所述一组句子中的至少一个句子中识别词序列；以及

基于所述词序列来生成所述上下文特征。

6.根据权利要求5所述的方法，其中，所述至少一个句子包括以下各项中的至少一项：与所述文本输入相对应的句子、位于所述文本输入之前的句子和位于所述文本输入之后的句子。

7.根据权利要求5所述的方法，其中，所述至少一个句子代表了所述一组句子的内容。

8.根据权利要求5所述的方法，其中，所述基于所述词序列来生成所述上下文特征包括：

基于所述词序列来生成词嵌入向量序列；

基于所述词嵌入向量序列来生成与所述至少一个句子相对应的平均嵌入向量序列；

将所述平均嵌入向量序列与所述文本输入的音素序列对准；以及

基于经对准的平均嵌入向量序列来生成所述上下文特征。

9.根据权利要求1所述的方法，其中，所述生成所述上下文特征包括：

确定所述文本输入在所述一组句子中的位置；以及

基于所述位置来生成所述上下文特征。

10.根据权利要求9所述的方法，其中，所述基于所述位置来生成所述上下文特征包括：

基于所述位置来生成位置嵌入向量序列；

将所述位置嵌入向量序列与所述文本输入的音素序列对准；以及

基于经对准的位置嵌入向量序列来生成所述上下文特征。

11.根据权利要求1所述的方法，其中，所述生成所述语音波形包括：

将所述音素特征和所述上下文特征组合成混合特征；

对所述混合特征实施注意力机制，以获得实施了注意力的混合特征；以及

基于实施了注意力的混合特征来生成所述语音波形。

12.根据权利要求1所述的方法，其中，所述生成所述语音波形包括：

将所述音素特征和所述上下文特征组合成第一混合特征；

对所述第一混合特征实施第一注意力机制，以获得实施了注意力的第一混合特征；

对所述上下文特征中的至少一个上下文特征实施第二注意力机制，以获得实施了注意力的至少一个上下文特征；

将实施了注意力的第一混合特征和实施了注意力的至少一个上下文特征组合成第二混合特征；以及

基于所述第二混合特征来生成所述语音波形。