[发明专利]半监督的音素强制对齐模型建立方法及系统

说明书

本发明提出一种半监督的音素强制对齐模型建立方法及系统，属于语音合成领域。本发明解决了目前强制对齐方法存在对齐偏差较大，而对齐偏差会影响后端模型语音合成的效果，造成合成语音不够自然、连贯的问题，其技术方案要点为：方法包括：首先，获取模型训练数据；其次，提取原始语音样本MFCC特征；然后，单音素GMM模型训练，获取初步音素对齐状态序列；最后，三音素GMM模型训练，通过引入有监督项来对GMM模型参数进行估计更新，确定模型参数，获取对应的三音素GMM模型，得到目标音素强制对齐模型。系统包括数据获取模块、音素转化模块、特征提取模块、训练模块、对齐预测模块及模型建立模块。本发明的有益效果是：能够提高语音数据利用率及对齐准确率。

技术领域

本发明涉及语音合成技术，特别涉及半监督的音素强制对齐模型建立方法及系统的技术。

背景技术

语音合成系统由前端和后端两个模块构成，用于将一段文本内容通过分析和建模后转换为一段音频文件。前端主要包括原始文本正则化、中文分词、发音预测、韵律结构预测和强制对齐等操作，用于指导后端模型将文本转换成对应的音频。由于语音本身的复杂性和开放性，前端处理一直是传统语音合成的一个重点。前端模块的其中一个模型为音素强制对齐模型，音素强制对齐是指对于文本标注的每个片段——音素，确定包含的音频文件的时间间隔的一种模型。

传统语音合成技术中的强制对齐方法是根据语音样本和对应的文本标注样本集来进行建模，实现音素和语音的对齐，由于语音文件的人工对齐标注工作量大、难度高，大多强制对齐方法没有将语音数据对应的对齐标记纳入考虑，是一种无监督的建模过程。但是传统技术的强制对齐方法存在对齐偏差较大的问题，而对齐偏差会影响后端模型语音合成的效果，造成合成语音不够自然、连贯。

发明内容

本发明的目的是提供一种半监督的音素强制对齐模型建立方法及系统，解决目前强制对齐方法存在对齐偏差较大，而对齐偏差会影响后端模型语音合成的效果，造成合成语音不够自然、连贯的问题。

本发明解决其技术问题，采用的技术方案是：半监督的音素强制对齐模型建立方法，包括如下步骤：

步骤1、获取训练数据，所述训练数据包括原始语音样本集和对应的文本标注样本集，其中原始语音样本集包括有对齐标记的语音样本和待对齐的语音样本；

步骤2、根据音素字典将所述文本标注样本集中的文本标注样本生成音素标注样本；

步骤3、将所述原始语音样本进行分帧，然后提取每一帧语音样本的MFCC特征序列；

步骤4、通过有对齐标记的语音样本对应的特征序列对所述音素强制对齐模型中的单音素GMM参数进行初始化，将所述MFCC特征序列和对应的音素标注样本作为声学特征输入单音素GMM训练，输出对应的初步音素对齐状态序列；

步骤5、通过所述初步音素对齐状态序列初始化音素强制对齐模型中的三音素GMM，将所述MFCC及其补充特征输入三音素GMM进行训练，输出对应的预测音素对齐状态序列；

步骤6、通过在模型参数估计过程中引入有监督项来对GMM模型参数进行更新，确定所述三音素GMM模型的参数，获取对应的三音素GMM模型，得到目标音素强制对齐模型，其中音素强制对齐模型包括单音素GMM和三音素GMM两个子模型。

进一步的是，步骤4具体包括如下步骤：

步骤401、根据所述有对齐标记的语音样本对应的MFCC特征序列计算得到每一维特征的均值和方差，即CMVN操作，然后根据所述音素标注样本创建共享音素列表，对每一组共享音素的每一个状态创建只有一个分量的GMM；

步骤402、通过所述特征的均值和方差初始化GMM模型参数，将GMM均值初始化为有对齐标记语音样本特征的均值、方差初始化为对齐标记语音样本特征的方差；