[发明专利]一种蒙古语数据集扩充方法

权利要求书

1.一种蒙古语数据集扩充方法，其特征在于，包括：

获取包含指定地区特征的蒙古语文本、指定地区特征以及带有真实音频的指定地区特征的蒙古语音频；

构建指定地区对抗生成网络模型；

对所述指定地区对抗生成网络模型进行对抗训练，并将所述带有真实音频的指定地区特征的蒙古语音频输入到经过训练的所述对抗生成网络模型进行处理，生成蒙古语扩充数据集；

所述指定地区对抗生成网络模型包括：条件语音生成器以及多项融合判别器，所述条件语音生成器与所述多项融合判别器连接，所述条件语音生成器由合成器以及声码器组成；

其中，

所述生成器：根据所述蒙古语文本及所述指定地区特征得到构建蒙古语梅尔频谱图；

所述声码器：与所述生成器连接，根据所述蒙古语梅尔频谱图生成指定地区蒙古语音频；

所述多项融合判别器：根据所述蒙古语梅尔频谱图以及所述指定地区特征判别指定地区蒙古语音频是否为真实数据，生成所述蒙古语扩充数据集；

其中，所述生成器根据指定地区特征和蒙古语文本得到蒙古语梅尔频谱图的分布，公式如下：

式中，z为指定地区特征，t蒙古语文本，x为蒙古语梅尔频谱图，p(x|z·t)为蒙古语梅尔频谱图的分布；

对蒙古语梅尔频谱图的分布进行建模，得到蒙古语梅尔频谱图特征，计算公式如下：

式中，*表示卷积操作，W_conv表示卷积核参数，W_enc表示LSTM编码参数，c表示注意力上下文，W_att表示注意力权重，g表示LSTM解码操作，表示反卷积参数，表示模型计算得到的蒙古语梅尔频谱图特征。

2.根据权利要求1所述的一种蒙古语数据集扩充方法，其特征在于，所述合成器包括依次连接的因果卷积层、编码层、注意力层、解码层和反卷积层；

其中，

所述因果卷积层用于降低所述蒙古语文本、所述指定地区特征以及所述蒙古语音频梅尔频谱图之间的信息量差；

所述编码层、所述注意力层及所述解码层用于从时间维度上映射输入特征和输出梅尔频谱图之间的关系；

所述反卷积层用于提升所述蒙古语音频梅尔频谱图的清晰度。

3.根据权利要求1所述的一种蒙古语数据集扩充方法，其特征在于，所述多项融合判别器由地区分类器以及清晰度分类器组成，所述地区分类器用于判别蒙古语音频发音地区，所述清晰度分类器用于判别蒙古语音频清晰度，得到判别结果，具体包括：

对所述带有真实音频的指定地区特征的蒙古语音频利用所述地区分类器以及清晰度分类器分别进行蒙古语音频发音地区以及蒙古语音频清晰度判别，若判别为真则加入真实蒙古语数据集X，若判别为假则舍弃，形成蒙古语扩充数据集。

4.根据权利要求3所述的一种蒙古语数据集扩充方法，其特征在于，所述地区分类器判别蒙古语音频发音地区的包括：

对所述蒙古语梅尔频谱图进行二维卷积计算，得到卷积特征；

对所述卷积特征进行池化处理；

根据卷积特征进行分类；

对每个地区分类计算概率值，取最大概率地区作为蒙古语音频发音地区判别结果，计算公式如下：

式中，x表示蒙古语梅尔频谱图，*表示卷积操作，Wconv表示卷积核参数，pool表示池化操作，W_fc表示全连接层参数，表示地区分类判别的地区。

5.根据权利要求3所述的一种蒙古语数据集扩充方法，其特征在于，所述清晰度分类器判别蒙古语音频清晰度包括：

对所述蒙古语梅尔频谱图进行二维卷积计算，得到卷积特征；

对所述卷积特征进行池化处理；

根据卷积特征进行分类；

对蒙古语音频清晰度计算分值，分值范围为[-1,1]，当分值高于设定的分值界限则认为符合清晰度要求，反之不符合，计算公式如下：

式中，x表示蒙古语梅尔频谱图，*表示卷积操作，Wconv表示卷积核参数，pool表示池化操作，W_fc表示全连接层参数，表示清晰度分类判别的清晰度。

6.根据权利要求3所述的一种蒙古语数据集扩充方法，其特征在于，所述多项融合判别器进行对抗训练的具体过程包括：

所述多项融合判别器使用真实的蒙古语数据集和多项融合判别器的随机参数W_D训练；

所述条件语音生成器使用蒙古语数据集和条件语音生成器的随机参数W_G训练；

根据条件语音生成器损失函数进行反向传播，更新条件语音生成器的随机参数W_G；根据多项融合判别器损失函数进行反向传播，更新多项融合判别器的随机参数W_D，循环n轮次。