[发明专利]一种面向低资源条件下的多风格个性化藏语语音合成模型

权利要求书

1.一种面向低资源条件下的多风格个性化藏语语音合成模型，其特征在于，包括说话人风格编码器以及依次相连的字音转换模块、文本编码器、方差适配器、梅尔谱解码器和HifiGAN声码器；

说话人风格编码器包括说话人向量仿射层以及依次相连接的韵律向量提取器、梯度翻转层和说话人分类器，韵律向量提取器还与韵律向量仿射层相连；韵律向量提取器由依次设置的全连接层A、一维卷积层A、多头注意力机制层A、全连接层B和时间信息池化层构成；时间信息池化层分别与梯度翻转层和韵律向量仿射层相连；

文本编码器由依次设置的多头注意力机制层B、说话人风格自适应归一化层A、一维卷积层B和说话人风格自适应归一化层B组成；多头注意力机制层B与字音转换模块相连接；说话人风格自适应归一化层B与方差适配器相连；

梅尔谱解码器由依次设置的多头注意力机制层C、说话人风格自适应归一化层C、一维卷积层C、说话人风格自适应归一化层D和全连接层C构成；

全连接层C与HifiGAN声码器相连接；多头注意力机制层C与方差适配器相连接；

说话人风格编码器分别与文本编码器和梅尔谱解码器相连；

该合成模型采用“预训练+元学习”的模型算法进行训练；将深度学习模型可学习的模型参数θ分为与韵律相关的参数θ^p、与说话人相关的参数θ^s和其他剩余参数构成，即；θ^p和θ^s包括说话人风格编码器的可学习模型参数，包括文本编码器、梅尔谱解码器和方差适配器的可学习模型参数。

2.根据权利要求1所述的面向低资源条件下的多风格个性化藏语语音合成模型，其特征在于，所述基于“预训练+元学习”的模型训练算法包括预训练阶段、元学习阶段1、元学习阶段2和自适应阶段；在预训练阶段，利用大规模多说话人普通话语料预训练一个多说话人普通话声学模型，θ₀表示初始化的声学模型参数，θ_M1表示经预训练完成后的普通话声学模型参数集；预训练阶段，将所有的可学习模型参数由更新至；在元学习阶段1，在预训练的多说话人普通话声学模型的基础上，利用小规模的多风格多说话人普通话语料库，采用元学习算法训练得到多风格个性化普通话声学模型，θ_M2表示经元学习阶段1得到的多风格个性化普通话声学模型；在元学习阶段1，冻结参数集θ_M1中的参数，只更新说话人相关参数和说话人风格相关参数，使可学习模型参数由更新至；在元学习阶段2，在多风格个性化普通话声学模型的基础上，利用小规模的藏语普语料库，采用元学习算法训练得到多风格个性化藏语声学模型，θ_T表示经元学习阶段2得到的多风格个性化藏语声学模型；在元学习阶段2，冻结参数集θ_M2中的说话人风格相关参数，只更新说话人相关参数和其他参数，使可学习模型参数由更新至；在自适应阶段，冻结参数集θ_T中的韵律相关参数和模型其他参数，使用K个目标说话人的样本，只更新说话人相关参数，使可学习模型参数由更新至。