[发明专利]一种可局部修改内容的语音合成方法及语音合成系统

权利要求书

1.一种可局部修改内容的语音合成方法，其特征在于，包括：

获取训练样本，所述训练样本包括一组第一语音和第一文本，以及一组第二语音和第二文本，其中，所述第一语音与所述第二语音的音色一致，且所述第一文本与所述第二文本之间存在至少一个区别文本单元；

分别提取所述第一语音和所述第二语音对应的语音特征帧，得到第一语音特征帧序列和第二语音特征帧序列；

分别将所述第一语音特征帧序列、所述第一文本、所述第二语音特征帧序列、所述第二文本分别进行编码，得到对应的第一语音编码序列、第一文本发音编码序列、第二语音编码序列、第二文本发音编码序列，其中，每个语音编码序列包括与各语音特征帧对应的语音特征向量，每个文本发音编码序列包括各发音单元向量；

按照语音特征帧与发音单元的时间映射关系，将所述第一语音编码序列中的语音特征向量与所述第一文本发音编码序列中对应的发音单元向量进行融合，得到对应的融合序列，其中，所述时间映射关系为在时间维度上，一个发音单元对应至少一个语音特征帧，所述融合序列中的第一文本发音编码序列经过扩增处理，所述扩增处理为将每个发音单元向量复制目标次数，得到第一文本发音扩增编码序列，所述目标次数等于所述发音单元向量在所述第一语音编码序列中对应位置持续的语音特征向量的数量，以使所述发音单元向量的数量与所述第一语音编码序列中的语音特征向量的数量相等；

基于所述融合序列，预测所述第二文本发音编码序列中每个发音单元向量对应的语音特征向量的数量，并基于预测得到的语音特征向量的数量，将所述第二文本发音编码序列中每一个发音单元向量复制指定次数，得到第二文本发音扩增编码序列，所述指定次数等于对应预测语音特征向量的数量；

基于所述融合序列与所述第二文本发音扩增编码序列，预测所述第二文本发音扩增编码序列中每个向量对应的预测语音特征向量，得到第二语音特征帧预测序列；

以所述第二语音特征帧预测序列与所述第二语音特征帧序列的损失距离，以及所述第二文本发音编码序列中每一个发音单元向量对应的语音特征帧的数量与所述第二文本发音编码序列中每一个发音单元向量对应的所述预测得到的语音特征向量的数量的损失距离作为训练语音合成系统的监督信号，当所述语音合成系统训练收敛后，将所述第二语音特征帧预测序列耦合至声码器，所述声码器用于根据所述第二语音特征帧预测序列生成第二预测语音并输出。

2.根据权利要求1所述的方法，其特征在于，所述区别文本单元与全部文本单元的数量占比小于预设比例阈值。

3.根据权利要求1所述的方法，其特征在于，通过以下步骤获取目标语音对应的语音特征帧序列，所述目标语音为所述第一语音和所述第二语音：

将所述目标语音的时域信号以帧为单位转换为频域信号；

提取每一帧所述频域信号的语音特征向量，得到所述目标语音的语音特征帧；

按照时间顺序排列各个语音特征帧，得到对应的语音特征序列。

4.根据权利要求1所述的方法，其特征在于，通过以下步骤编码目标文本，所述目标文本为所述第一文本和所述第二文本：

将所述目标文本按照文本单元划分为对应的发音单元，得到发音单元序列；

通过词嵌入层将所述发音单元序列中的各个发音单元进行向量化处理，得到文本发音编码序列。

5.根据权利要求1所述的方法，其特征在于，所述第一语音和所述第二语音采用同一个语音编码器，所述第一文本和所述第二文本采用同一个文本编码器。