[发明专利]语音合成方法、装置和计算机存储介质

权利要求书

1.一种语音合成方法，其特征在于，包括：

获取待合成的混合序列，其中，所述混合序列包括待合成文本和待合成图形，所述待合成图形包括图形文本和图形公式中的至少一个；

将所述混合序列所包括的所述待合成文本和所述待合成图形分离；

将所述待合成图形输入图形识别模型，识别所述图形文本所包括的识别文本，并将所述图形公式识别为LaTeX字符；

根据所述图形文本和所述图形公式在所述混合序列中的位置，对所述待合成文本、所述识别文本和所述LaTeX字符进行合并，获得文本序列；

将所述文本序列输入语音合成模型，通过所述语音合成模型将所述文本序列转换为音频；

所述将所述待合成图形输入图形识别模型，识别所述图形文本所包括的识别文本，并将所述图形公式识别为LaTeX字符，包括：

通过所述图形识别模型包括的卷积神经网络CNN部分，提取所述待合成图形的特征图；

将所述特征图的每一列作为一个时间片，输入所述图形识别模型包括的循环神经网络RNN部分，获得用于表征文本序列特征的序列特征矩阵；

将所述序列特征矩阵输入softmax函数，获得后验概率矩阵；

根据所述后验概率矩阵，确定所述图形文本所包括的识别文本或所述图形公式对应的LaTeX字符。

2.根据权利要求1所述的方法，其特征在于，所述根据所述后验概率矩阵，确定所述图形文本所包括的识别文本或所述图形公式对应的LaTeX字符，包括：

分别将所述后验概率矩阵的每一列输入argmax函数，获得所述argmax函数的输出结果；

针对所述后验概率矩阵的每一列，根据所述argmax函数的输出结果，确定所述待合成图形中对应列区域的字符；

根据所述待合成图形中各列区域的字符，确定所述图形文本所包括的识别文本或所述图形公式对应的LaTeX字符。

3.根据权利要求1或2所述的方法，其特征在于，所述RNN部分包括深层双向长短时记忆网络LSTM。

4.根据权利要求1所述的方法，其特征在于，所述将所述文本序列输入语音合成模型，通过所述语音合成模型将所述文本序列转换为音频，包括：

将所述文本序列转换为音素序列；

对所述音素序列进行字符嵌入处理，获得特征向量；

将所述特征向量输入所述语音合成模型包括的编码器，通过所述编码器对所述特征向量进行编码，获得维度向量；

将所述维度向量输入所述语音合成模型中解码器所包括的注意力循环神经网络，通过所述注意力循环神经网络对所述维度向量进行处理，获得注意力权重；

将所述注意力权重输入所述解码器所包括的注意力过渡模块，通过正向递归算法计算每个时间步长的修正注意概率，以使所述注意力循环神经网络确定在所述解码器的每个时间步长向前移动或停留；

将所述注意力循环神经网络输出的所述注意力权重输入所述解码器所包括的解码循环神经网络，使所述解码循环神经网络基于输入的所述注意力权重生成频谱图；

通过所述语音合成模型包括的声码器将所述频谱图转换为所述音频。

5.根据权利要求4所述的方法，其特征在于，所述通过所述编码器对所述特征向量进行编码，获得维度向量，包括：

通过所述编码器包括的3层1维卷积层对所述特征向量进行卷积；

将对所述特征向量进行卷积处理的结果，输入所述语音合成模型包括的双向LSTM层，获得所述双向LSTM层输出的所述维度向量。

6.根据权利要求4所述的方法，其特征在于，所述将所述注意力循环神经网络输出的所述注意力权重输入所述解码器所包括的解码循环神经网络，使所述解码循环神经网络基于输入的所述注意力权重生成频谱图，包括：

将所述解码器所包括的逐步优化循环网络PReNet输出的频谱转换向量，及所述注意力权重，输入所述解码循环神经网络，通过所述解码循环神经网络根据所述频谱转换向量和所述注意力权重，按照帧级别生成所述频谱图。

7.根据权利要求4至6中任一所述的方法，其特征在于，所述声码器包括griffin-lim声码器或神经声码器。