[发明专利]基于ghost和iLPCnet的蒙古语语音合成方法

说明书

本发明公开一种基于ghost和iLPCnet的蒙古语语音合成方法，基于Bang预训练模型，对齐蒙古语音素信息序列；基于ghost的声学模型，根据音素序列生成声学特征；以iLPCnet模型为声码器，进行声学特征到语音波形的转换。本发明使用Encoder‑Decoder模型将蒙古语文本转化成音素，其次使用基于ghost的声学模型将音素直接生成mel频谱，iLPCnet声码器直接将mel频谱转化为语音波形，可以无缝地集成到端到端的TTS系统降低了对参数的需求，提高了语音合成的速度，适合于小语种的语音合成。

技术领域

本发明属于人工智能技术领域，涉及语音合成，特别涉及一种基于ghost和iLPCnet的蒙古语语音合成方法。

背景技术

语音合成(Speech Synthesis)技术是指计算机通过分析将任意文本转化为流畅语音的技术。国内外语音合成研究经历了基于共振峰合成、波形拼接，基于统计参数语音合成方法，以及基于深度神经网络的语音合成方法的发展历程。

现有的语音合成研究多集中于主流语言，而类似于蒙古语等冷僻语言由于语料稀缺等问题，其语音合成仍然处在初级阶段。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于ghost和iLPCnet的蒙古语语音合成方法，以提高蒙古语语音合成的速度与质量。

为了实现上述目的，本发明采用的技术方案是：

一种基于ghost和iLPCnet的蒙古语语音合成方法，其特征在于，包括如下步骤：

步骤1，提取蒙古文的文本特征，并将文本特征编码转换为音素序列，所述音素序列输入至Bang预训练模型；

步骤2，利用Bang预训练模型训练蒙古文音素信息，将音素信息对齐；

步骤3，基于加轻量级ghost模块的deepvoice3声学模型，通过音素信息生成声学特征；

步骤4，以融入蒙古语语音特征的iLPCnet模型为声码器，将声学特征转换为语音波形，进而实现蒙古语语音合成。

在一个实施例中，所述步骤1，编码器为ghost模块编码器。

在一个实施例中，所述Bang预训练模型由多层堆叠的Transformer编码器和多层堆叠的Transformer解码器组成；所述Transformer编码器使用自注意力机制，所述Transformer解码器使用跨流可见多流自注意力机制；

所述跨流可见多流自注意力机制，在第一个预测流中，每个输入的蒙古语音素信息均是有依赖关系的，每个音素均以自回归进行预测；在剩余预测流中，第一个音素以非自回归进行预测，其他音素则以介于自回归和非自回归之间的方式进行预测；目标序列长度|Y|＝n，则Bang预训练模型设置n个预测流，此时每个音素的前i个信息(i指任意长度)被掩码替换的情形，均能够在同一个时间步中被并行预测。

在一个实施例中，所述deepvoice3声学模型采用全卷积的编码器和解码器，并且以串行的方式组成，即以自回归的方式生成声学特征。

在一个实施例中，所述步骤3，在deepvoice3声学模型的编码器和解码器中，均采用多层堆叠的ghost模块替代全卷积模块，所述ghost模块包含卷积部分和线性变换部分，所述卷积部分使用一维卷积，通过减少输出通道数的方式，减少参数量和计算量；所述线性变换部分使用多个线性映射，将少通道特征变为多通道特征，即通过动态调整通道数，保证输出与声学特征维度一致。

在一个实施例中，所述声码器由上采样网络和语音生成网络组成，所述上采样网络将输入的蒙古语声学特征的时间分辨率与原有蒙古语语音库中的语音信号的采样率相匹配，所述语音生成网络用于根据声学特征自动回归生成蒙古语语音。