[发明专利]一种蒙古语数据集扩充方法

说明书

本发明公开了一种生成蒙古语音频的扩充方法，应用于语音识别技术领域，首先获取包含指定地区特征的蒙古语文本、指定地区特征以及带有真实音频的指定地区特征的蒙古语音频；然后构建指定地区对抗生成网络模型；最后对所述指定地区对抗生成网络模型进行对抗训练，并将所述带有真实音频的指定地区特征的蒙古语音频输入到经过训练的所述对抗生成网络模型进行处理，生成蒙古语扩充数据集。本发明将指定地区的蒙古语数据进行扩充，解决了收集蒙古语语料的经济成本高、时间消耗大和地区不均匀问题。

技术领域

本发明涉及语音识别技术领域，更具体的说是涉及一种蒙古语数据集扩充方法。

背景技术

数据扩充是指原始数据集通过不同方法扩大数据集容量，得到更为适合当前应用环境的新数据集。训练语音识别模型需要充足的数据集，而数据扩充是在短时间内获取充足的有标注蒙古语数据集的可行方法之一。近年来，开源的有标注蒙古语数据集量级非常小，研究者通常需要在高校和企业的支持下采集数据。但是，采集数据集是一项经济成本高且时间消耗大的工作。想要在短时间内获得充足的数据量，数据扩充方法显得格外重要。

目前，语音扩充方法根据实现技术的不同分为两类。

(1)通过算法修改原始音频或语音特征进行扩充，如语速扰动、声带长度归一化、音频遮蔽。该类方法可以立刻生成音频，但为了取得优秀的生成音频通常需要人工不断调整。

(2)通过生成技术合成音频进行扩充，如噪音音频生成、房间模拟音频生成。该类方法通过合成技术生成新音频。研究主要集中在为现有音频添加特定任务需要的环境信息，但合成技术通常要求原始数据较为充足。

综上所述，现有的蒙古语数据集中有标注的蒙古语音频匮乏，且地区分布不均衡。语音识别模型使用当前蒙古语数据集会导致过拟合数据占比大的地区，基于注意力机制的序列到序列模型会过拟合。

因此，如何提供一种蒙古语数据集扩充方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种蒙古语数据集扩充方法，利用指定地区的生成对抗模型，得到蒙古语扩充数据集，平衡数据集地区分布，提高蒙古语语音识别模型的识别准确率。

为了实现上述目的，本发明提供如下技术方案：

一种蒙古语数据集扩充方法，包括：

获取包含指定地区特征的蒙古语文本、指定地区特征以及带有真实音频的指定地区特征的蒙古语音频；

构建指定地区对抗生成网络模型；

对所述指定地区对抗生成网络模型进行对抗训练，并将所述带有真实音频的指定地区特征的蒙古语音频输入到经过训练的所述对抗生成网络模型进行处理，生成蒙古语扩充数据集。

优选的，所述指定地区对抗生成网络模型包括：条件语音生成器以及多项融合判别器，所述条件语音生成器与所述多项融合判别器连接，所述条件语音生成器由合成器以及声码器组成；

其中，

所述生成器：根据所述蒙古语文本及所述指定地区特征得到构建蒙古语梅尔频谱图；

所述声码器：与所述生成器连接，根据所述蒙古语梅尔频谱图生成指定地区蒙古语音频；

所述多项融合判别器：根据所述蒙古语梅尔频谱图以及所述指定地区特征判别指定地区蒙古语音频是否为真实数据，生成所述蒙古语扩充数据集。

优选的，所述合成器包括依次连接的因果卷积层、编码层、注意力层、解码层和反卷积层；

其中，

所述因果卷积层用于降低所述蒙古语文本、所述指定地区特征以及所述蒙古语音频梅尔频谱图之间的信息量差；