[发明专利]一种使用神经网络的零样本语音转换语料预处理方法

权利要求书

1.一种使用神经网络的零样本语音转换语料预处理方法，其特征在于，所述方法包括：

使用了神经网络的生成器，对未在训练集中的说话人的身份编码向量进行预处理，使用256维的向量来表示说话人的音色个性化特征，对应说话人的身份标签；

通过编码器将语音信息中的说话人相关信息和说话人无关信息分离出来，提取出来的说话人相关信息是32维或者64维；

该生成器由7层神经网络构成，前三层是卷积核大小为5的一维卷积层，在每一次卷积操作后进行批标准化步骤，并通过激活函数ReLU对输出进行激活，卷积神经网络输出的维数是512；接下来的三层是循环神经网络LSTM，在三层LSTM网络全部结束后选取最后一次输出的最后一列输出作为LSTM网络的最终输出，维数为768；最后一层神经网络是一个全连接层FullConnect，它重新将输出的维数限制在256位，最终得到预处理后的说话人身份编码；

该生成器是独立于语音转换模型单独进行训练的，使其根据输入的说话人身份编码向量输出一个靠近该说话人身份编码向量但又不完全一致的结果，对于生成器的输出，则为越靠近语音转换模型训练时使用的对应说话人的身份编码向量越好；

对说话人身份编码进行基于神经网络的预处理，使用说话人身份编码器提取语料中的说话人身份编码向量，将提取出的向量和使用内容编码器提取出的内容编码一起输入到生成器中，生成器得到调整之后的说话人身份编码向量，将从生成器中得到的结果作为该说话人的最终身份编码向量，即作为该说话人的身份标签输入到解码器中，解码器生成转换后的音频特征序列。

2.根据权利要求1所述的方法，其特征在于：该生成器的最终训练目标如下：

S_nA＝Es(X_nA)

代表原始语音的音频特征，代表说话人身份编码器，S_nA代表得到的初始说话人身份编码向量；

S′_A＝G(S_nA)

G代表本发明所述的生成器，S′_A代表经过调整之后的说话人身份编码向量，也就是生成器的对应输出结果；

L_adjust代表生成器训练时的损失函数，通过使生成器的输出与语音转换模型中使用的众多说话人身份编码向量的平均值S_A的差距达到最小，对生成器进行训练。

3.根据权利要求1-2之一所述的方法，其特征在于：生成对抗网络是由一个生成器和一个判别器组成，二者根据给定的目标函数在对抗过程中不断优化迭代，最终得到一个模型。

4.一种使用神经网络的零样本语音转换语料预处理系统，其特征在于，所述系统包括处理器以及存储器：所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-3任一项所述的方法步骤。

5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-3任一项所述的方法步骤。