[发明专利]一种带情感和韵律的语音转换方法及装置

权利要求书

1.一种带情感和韵律的语音转换方法，其特征在于，包括训练阶段和转换阶段，所述训练阶段包括以下步骤：

S11：获取多名说话人的训练语料，包含源说话人以及目标说话人；

S12：将获取的训练语料进行声学特征提取；

S13：确定风格编码层的token数量及维度，将步骤S12提取的声学特征输入到使用了注意力机制的风格编码层，得到风格编码向量；

S14：将步骤S12提取的声学特征、步骤S13得到的风格编码向量共同输入到内容编码器，以过滤语音的说话者信息，输出语音内容编码信息；所述说话者信息是指说话者的音色、音调，即情感和韵律；

S15：将步骤S14输出的语音内容编码信息、步骤S13得到的风格编码向量共同输入到解码器，得到重建后的源说话人的声学特征，以训练解码器网络参数；

S16：将步骤S12提取的声学特征输入到声码器网络，训练声码器模型；

在所述训练阶段，提取的语音内容编码信息、风格编码向量为同一说话人的语音内容编码信息与风格编码向量；

将训练阶段训练后的网络参数用于语音转换阶段，所述转换阶段包括以下步骤：

S21：将待转换的源说话人、目标说话人语料进行声学特征提取；

S22：将待转换的源说话人、目标说话人语料的声学特征输入到风格编码层网络，得到源说话人、目标说话人的风格编码向量；

S23：将步骤S22得到的源说话人风格编码向量、步骤S21提取的待转换源说话人语料的声学特征输入到内容编码器、以过滤语音的说话者信息，输出语音内容编码信息；

S24：将步骤S23输出的语音内容编码信息、步骤S22得到的风格编码向量共同输入到解码器，得到目标说话人的声学特征；

S25：将步骤S24得到的经转换后的声学特征输入到经过S16训练后的声码器模型中，经声码器模型转换为音频；

在所述转换阶段，提取的语音内容编码信息、风格编码向量为不同说话人的语音内容编码信息与风格编码向量。

2.如权利要求1所述的带情感和韵律的语音转换方法，其特征在于，步骤S13中的token还包括：

每个token是由正态分布随机生成，token的数量以及每一个token的维度根据训练数据设定。

3.如权利要求1所述的带情感和韵律的语音转换方法，其特征在于，步骤S13中风格编码层网络结构包括：

参照编码层，用于对输入的声学特征生成参照编码向量；

风格标记层，利用注意力机制将不同的token与参照编码向量进行计算得到风格编码向量。

4.如权利要求1所述的带情感和韵律的语音转换方法，其特征在于，步骤S13中生成风格编码向量的过程包括：

将token以及参照编码向量一同输入到多头注意力网络，计算token与参照编码向量的相似度，利用计算所得的相似度得分再对token进行加权求和，最后计算得到风格编码向量；

所述注意力机制为dot-product attention、local-based attention或混合注意力机制。

5.如权利要求1所述的带情感和韵律的语音转换方法，其特征在于，步骤S14中内容编码器网络结构包括：

瓶颈层，包括使用双向LSTM或GRU网络，其输出分别经过下采样、上采样，最后输出语音内容编码信息。

6.如权利要求1所述的带情感和韵律的语音转换方法，其特征在于，步骤S14中内容编码器采用内容损失函数，所述内容损失函数为：

其中，表示转换后的声学特征，S表示风格编码向量，E_C()表示内容编码器网络，C表示内容编码向量。

7.如权利要求1所述的带情感和韵律的语音转换方法，其特征在于，步骤S15中解码器采用重建损失函数，所述重建损失函数为：

其中，X表示原始输入的声学特征，表示转换后的声学特征。