[发明专利]一种韵律层级标注的方法、模型训练的方法及装置

说明书

本申请公开了一种韵律层级标注的方法，该方法应用于人工智能领域，具体可应用于语音合成领域，该方法包括：获取待标注文本数据以及音频数据，其中，待标注文本数据与音频数据之间具有对应关系；根据待标注文本数据提取每个词语的待标注文本特征集合；根据音频数据提取每个词语的声学特征集合；根据每个词语的词语标识、每个词语的待标注文本特征集合以及每个词语的声学特征集合，通过韵律层级标注模型获取韵律层级结构。本申请还公开了一种模型训练的方法、韵律层级标注装置和模型训练装置。本申请联合文本特征以及声学特征建立韵律层级标注模型，可以为韵律层级的标注提供更加丰富的特征，提高韵律层级标注的准确性，提升语音合成的效果。

本申请为2019年1月22日提交中国专利局、申请号为201910060152.3、发明名称为“一种韵律层级标注的方法、模型训练的方法及装置”的中国专利申请的分案申请。

技术领域

本申请涉及智能语音合成领域，尤其涉及一种韵律层级标注的方法、模型训练的方法以及相关装置。

背景技术

为了实现高质量的语音合成系统，海量准确标注好韵律层级结构的数据至关重要，韵律层级结构是对语音的节奏及其停顿进行建模，一个能够准确自动标注韵律层级结构的方法，对快速构建语音合成语料库、提升语音合成的自然度有着重要意义。

目前，对韵律层级结构自动标注需要用机器学习方法训练一个自动标注模型，在特征选择上主要有两种，一种是用文本特征，先分词，再提取词语的文本特征，通过机器学习方法判决该词的韵律层级结构类型，另一种是用声学特征，主要是依靠检测音频的停顿位置，依据停顿时长的大小来区分不同的韵律层级结构类型。

然而，实际情况下，标注任务仅利用文本数据，则没有考虑到韵律层级结构边界前一个音节的时长有延长以及语调短语边界处往往伴有短时停顿的现象，而仅利用声学特征，难以准确地同时标注三层韵律层级结构，而且忽略了文本特征与声学特征的内在联系，降低了韵律层级结构的标注效果，影响了语音合成所依赖的语料库的质量。

发明内容

本申请实施例提供了一种韵律层级标注的方法、模型训练的方法及装置，联合文本特征以及声学特征建立韵律层级标注模型，可以为韵律层级提供更加丰富的特征，采用更加准确的韵律层级标注模型能够提高韵律层级标注的准确性，提升语音合成的效果。

有鉴于此，本申请第一方面提供一种韵律层级标注的方法，包括：

获取待标注文本数据以及音频数据，其中，所述待标注文本数据与所述音频数据之间具有对应关系，所述待标注文本数据包括至少一个词语，每个词语对应于一个词语标识；

根据所述待标注文本数据提取每个词语的待标注文本特征集合，其中，所述待标注文本特征集合包括词性、词长以及词后标点类型；

根据所述音频数据提取所述每个词语的声学特征集合，其中，所述声学特征集合包括词尾音节时长、词后停顿时长、词尾音节声学统计特征以及词间声学特征变化值；

根据所述每个词语的词语标识、所述每个词语的待标注文本特征集合以及所述每个词语的声学特征集合，通过韵律层级标注模型获取韵律层级结构。

本申请第二方面提供一种模型训练的方法，包括：

获取待训练文本数据以及待训练音频数据，其中，所述待训练文本数据与所述待训练音频数据之间具有对应关系，所述待训练文本数据中包括至少一个词语，每个词语对应于一个词语标识；

根据所述待训练文本数据提取每个词语的待训练文本特征集合，其中，所述待训练文本特征集合包括词性、词长以及词后标点类型；

根据所述待训练音频数据提取所述每个词语的待训练声学特征集合，其中，所述待训练声学特征集合包括词尾音节时长、词后停顿时长、词尾音节声学统计特征以及词间声学特征变化值；