[发明专利]语音合成方法、装置和计算机存储介质

说明书

本申请实施例提供了一种语音合成方法、装置和计算机存储介质，该语音合成方法包括：获取待合成的混合序列，其中，混合序列包括待合成文本和待合成图形，待合成图形包括图形文本和图形公式中的至少一个；将混合序列所包括的待合成文本和待合成图形分离；将待合成图形输入图形识别模型，识别图形文本所包括的识别文本，并将图形公式识别为LaTeX字符；根据图形文本和图形公式在混合序列中的位置，对待合成文本、识别文本和LaTeX字符进行合并，获得文本序列；将文本序列输入语音合成模型，通过语音合成模型将文本序列转换为音频。本方案能够提高对于混合序列进行语音合成的准确度。

技术领域

本申请涉及计算机技术领域，特别涉及一种语音合成方法、装置和计算机存储介质。

背景技术

语音合成用于将文本信息转换成自然语音输出，可以满足用户对语音朗读播报的需求，例如，通过语音合成技术可以实现新闻朗读、小说朗读、天气播报、短信播报、电子书朗读、教学内容朗读等，使用户可以通过语音听取相关信息，而不必直接对文字信息进行阅读。

将语音合成技术应用于教学场景，可以将教学文本转换为自然语音输出，实现课文朗读、题目朗读、生字默写等。然而，教学文本中可能参杂有图形文本和图形公式，比如数学文本中参杂有印刷公式或手写公式，目前的语音合成方式无法识别图形文本和图形公式，因此会将输入文本中参杂的图形文本和图形公式滤除，仅将输入文本中的纯文本内容转换成音频，此时所合成的音频内容不完整，并不能反映输入文本的全部信息，导致语音合成准确度较差。

发明内容

有鉴于此，本申请实施例提供了一种语音合成方法、装置和计算机存储介质，能够提高对于混合序列进行语音合成的准确度。

第一方面，本申请实施例提供了一种语音合成方法，包括：

获取待合成的混合序列，其中，所述混合序列包括待合成文本和待合成图形，所述待合成图形包括图形文本和图形公式中的至少一个；

将所述混合序列所包括的所述待合成文本和所述待合成图形分离；

将所述待合成图形输入图形识别模型，识别所述图形文本所包括的识别文本，并将所述图形公式识别为LaTeX字符；

根据所述图形文本和所述图形公式在所述混合序列中的位置，对所述待合成文本、所述识别文本和所述LaTeX字符进行合并，获得文本序列；

将所述文本序列输入语音合成模型，通过所述语音合成模型将所述文本序列转换为音频。

在第一种可能的实现方式中，结合上述第一方面，所述将所述待合成图形输入图形识别模型，识别所述图形文本所包括的识别文本，并将所述图形公式识别为LaTeX字符，包括：

通过所述图形识别模型包括的卷积神经网络CNN部分，提取所述待合成图形的特征图；

将所述特征图的每一列作为一个时间片，输入所述图形识别模型包括的循环神经网络RNN部分，获得用于表征文本序列特征的序列特征矩阵；

将所述序列特征矩阵输入softmax函数，获得后验概率矩阵；

根据所述后验概率矩阵，确定所述图形文本所包括的识别文本或所述图形公式对应的LaTeX字符。

在第二种可能的实现方式中，结合上述第一种可能的实现方式，所述根据所述后验概率矩阵，确定所述图形文本所包括的识别文本或所述图形公式对应的LaTeX字符，包括：

分别将所述后验概率矩阵的每一列输入argmax函数，获得所述argmax函数的输出结果；

针对所述后验概率矩阵的每一列，根据所述argmax函数的输出结果，确定所述待合成图形中对应列区域的字符；