[发明专利]基于神经网络的语音转换方法、系统、设备及存储介质

说明书

本发明属于人工智能技术领域，提出一种基于神经网络的语音转换方法、系统、设备及存储介质，该方法包括：获取源语音和目标说话人音色；将源语音输入到内容编码器中，提取出源语音的语义内容，得到语义内容编码；将语义内容编码和目标说话人音色输入到生成器中，获取目标语音，其中，所述语音转换模型以样本语音、样本音色进行训练得到。本发明实施例中在制作训练样本时，只需要采集样本语音和样本音色，通过将第二人音色信息从第二人语音中分离出来即可得到，由于不需要第二人的语义内容，可以对第二人的说话内容不做限定，避免了现有技术中第一人和第二人必须说相同内容的限制，节省了大量数据制作成本和时间，提高了效率。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于神经网络的语音转换方法、系统、设备及存储介质。

背景技术

语音转换技术是一种保持语义内容不变的情况下，将源语音转换为目标语音的技术，其中，源语音为第一人声发出的语音，目标语音为第二人声发出的语音。换言之，将第一人声发出的源语音通过语音转换技术，转换为语义相同的第二人声发出的目标语音。

随着深度神经网络技术的快速发展，基于深度学习的语音转换方法转换的语音相似度高且语音质量好、流畅度好。目前基于深度学习的语音转换方法主要包括两个步骤，首先用大量的语音数据训练转换模型，再用训练好的模型来进行语音转换。但是训练需要用到平行训练数据集，平行训练数据集是指第一人和第二人说同样话的语音，但是这样的样本比较难以采集，费时费力。

发明内容

本发明提供一种基于神经网络的语音转换方法、系统、设备及存储介质，其主要目的在于降低训练数据集的制作成本，并合成自然度和相似度高的目标语音。

第一方面，本发明实施例提供一种基于神经网络的语音转换方法，该方法包括：

获取源语音和目标说话人音色；

将所述源语音输入到内容编码器中，提取出所述源语音的语义内容，得到语义内容编码；

将所述语义内容编码和所述目标说话人音色输入到生成器中，对所述语义内容编码和所述目标说话人音色进行合成，获取目标语音，其中，语音转换模型包括所述内容编码器和所述生成器，所述语音转换模型以样本语音、样本音色进行训练得到。

优选地，所述语音转换模型还包括辨别器，所述语音转换模型以样本语音、样本音色进行训练得到，通过如下方式实现：

将所述样本语音输入到所述内容编码器中，获取所述样本语音对应的语义内容编码；

将所述样本语音对应的语义内容编码和所述样本音色输入到所述生成器中，获取转换后语音；

将所述转换后语音输入到所述辨别器中，判断所述转换后语音是否为合成，若所述辨别器判断所述转换后语音是合成的，则调整所述编码器和所述生成器的参数，并利用调整后的编码器和调整后的生成器重新进行训练，直到所述辨别器判断所述转换后语音不是合成的。

优选地，所述将所述转换后语音输入到所述辨别器中，判断所述转换后语音是否为合成，包括：

根据所述辨别器对应的预设辨别器损失函数计算出样本实际损失，若所述样本实际损失在预设损失阈值之内，则判断所述转换后语音不是合成语音，否则，判断所述转换后语音是合成语音；

其中，所述预设辨别器损失函数通过如下公式计算得到：

其中，L_adv(D)表示辨别器的训练损失函数，x表示所述样本语音，表示所述转换后语音，c表示所述样本语音对应的语义内容，表示所述样本音色，D表示所述辨别器，G表示所述生成器，D(x)表示输入为所述样本语音时所述辨别器的输出，表示输入为所述转换后语音时所述辨别器的输出。