[发明专利]一种可局部修改内容的语音合成方法及语音合成系统

说明书

本申请提供了一种可局部修改内容的语音合成方法及语音合成系统，以语音音色一致、而文本及语音内容不同的两组训练数据作为一个训练样本，以一组数据中文本的发音单元和语音的语音特征，以及另一组数据中文本的发音单元作为输入，以该另一组数据中语音的语音特征作为训练目标，预测该另一组数据中文本的发音单元对应的预测语音特征，使得基于该预测语音特征合成得到的预测语音的音色与作为输入的语音的音色一致，且内容与另一组数据中的文本一致。在训练语音合成系统时，仅需保证一个训练样本的两组训练数据来自相同发音人，使用该语音合成系统可以通过修改任意发音人的一组数据中的文本内容合成出与该发音人音色一致且内容为修改后的内容的语音。

技术领域

本申请涉及自然语言处理技术领域，尤其涉及一种可局部修改内容的语音合成方法及语音合成系统。

背景技术

人机交互(human-computer interaction，HCI)是指人类与机器通过语音对话进行信息交换的技术，在人机交互过程中，机器会用特定的语音内容，即特定文本回复用户，为了提高回复的针对性，该特定文本通常由固定文本和变量文本组成，其中，固定文本是指交互时所使用的通用文本，变量文本是指针对于该用户或者当前交互场景的文本。机器回复用户时，首先将固定文本对应的语音与变量文本对应的语音进行拼接，就可以得到特殊文本对应的完整语音，然后通过播放该完整语音以实现对用户的回复。

通常，固定文本对应的语音也是固定不变的，因此，可以通过提前录制的方式，得到固定文本对应的语音，在拼接完整语音时，可以直接使用已经录制好的语音。而由于变量文本是动态变化的，变量文本对应的语音也是动态变化的，因此，为了保证变量文本的语音准确性，通常采用语音合成技术实时合成与变量文本对应的语音。

拼接得到的完整语音容易存在音色不一致的问题，例如固定文本对应的语音是女声，而通过合成得到的变量文本对应的语音是男声，播放音色不一致的完整语音会大大降低用户的交互体验感。为了保证变量文本对应的语音与固定文本对应的语音音色一致，通常，会预先针对录制该固定文本对应的语音的录音员，录制一个语音合成音库，该语音合成音库中的各个语音材料与固定文本对应的语音音色一致。合成变量文本对应的语音时，从该语音合成音库中选取与变量文本对应的语音材料，对这些语音材料进行合成，就可以得到与固定文本对应的语音音色一致的变量文本对应的语音。为了可以适应更广泛的交互场景，该语音合成音库通常包含海量的语音材料，且一旦更换录音员，就需要重新录制一个语音合成音库，语音合成库的录制成本较高，可持续性较低。为了解决录制语音合成音库产生的问题，可以通过实时训练一个语音合成模型来合成变量文本对应的语音，从而无需预先录制语音合成音库。为了保证该语音合成模型得到的语音与固定文本的语音音色一致，仍然需要该录音员预先录制一定数量的语音样本。而且，该语音合成模型的训练过程需要耗费一定的时间，且该语音合成模型专用于合成与该录音员的音色一致的语音，一旦固定文本的语音由其他录音员录制，则需要重新训练对应的语音合成模型。

发明内容

本申请实施例提供了一种可局部修改内容的语音合成方法及语音合成系统，以通过音色相同、内容局部不同的成对训练样本训练得到一个语音合成模型，并在对任意发音人的语音内容修改之后，可以通过该语音合成模型针对修改后的语音内容准确地合成出与该任意发音人音色一致的语音。

第一方面，本申请实施例提供了一种可局部修改内容的语音合成方法，包括：

获取训练样本，所述训练样本包括一组第一语音和第一文本，以及一组第二语音和第二文本，其中，所述第一语音与所述第二语音的音色一致，且所述第一文本与所述第二文本之间存在至少一个区别文本单元；

分别提取所述第一语音和所述第二语音对应的语音特征帧，得到第一语音特征帧序列和第二语音特征帧序列；