[发明专利]一种韵律层级标注的方法、模型训练的方法及装置

权利要求书

1.一种韵律层级标注的方法，其特征在于，包括：

获取待标注文本数据以及音频数据，其中，所述待标注文本数据与所述音频数据之间具有对应关系，所述待标注文本数据包括至少一个词语，每个词语对应于一个词语标识；

根据所述待标注文本数据提取每个词语的待标注文本特征集合，其中，所述待标注文本特征集合包括词性、词长以及词后标点类型，所述音频数据为语音数据；

根据所述音频数据提取所述每个词语的声学特征集合，其中，所述声学特征集合包括词尾音节时长、词后停顿时长、词尾音节声学统计特征以及词间声学特征变化值；

根据所述每个词语的词语标识、所述每个词语的待标注文本特征集合以及所述每个词语的声学特征集合，通过韵律层级标注模型获取韵律层级结构，其中，所述韵律层级结构包括韵律词、韵律短语以及语调短语的至少一种，或，所述韵律层级结构包括韵律词和韵律短语的至少一种，所述韵律层级标注模型为根据词语对应的词语标识、词语的待训练文本特征集合以及词语的待训练声学特征集合训练得到的，所述韵律层级标注模型的训练过程为：通过所述韵律层级标注模型中的词嵌入层获取目标词语标识的第一输出结果，其中，所述目标词语标识对应于目标词语，所述目标词语属于所述至少一个词语中的任意一个词语，所述词嵌入层为根据第一模型参数训练得到的；通过所述韵律层级标注模型中的文本神经网络获取目标待训练文本特征集合的第二输出结果，其中，所述目标待训练文本特征集合对应于所述目标词语，所述文本神经网络为根据第二模型参数训练得到的；对所述第一输出结果、所述第二输出结果以及目标待训练声学特征集合进行训练，得到第三模型参数，其中，所述目标待训练声学特征集合对应于所述目标词语，所述第三模型参数用于生成所述韵律层级标注模型中的声学神经网络；根据所述第一模型参数、所述第二模型参数以及所述第三模型参数，生成所述韵律层级标注模型。

2.一种模型训练的方法，其特征在于，包括：

获取待训练文本数据以及待训练音频数据，其中，所述待训练文本数据与所述待训练音频数据之间具有对应关系，所述待训练文本数据中包括至少一个词语，每个词语对应于一个词语标识，所述待训练音频数据为语音数据；

根据所述待训练文本数据提取每个词语的待训练文本特征集合，其中，所述待训练文本特征集合包括词性、词长以及词后标点类型；

根据所述待训练音频数据提取所述每个词语的待训练声学特征集合，其中，所述待训练声学特征集合包括词尾音节时长、词后停顿时长、词尾音节声学统计特征以及词间声学特征变化值；

对所述每个词语对应的词语标识、所述每个词语的待训练文本特征集合以及所述每个词语的待训练声学特征集合进行训练，得到韵律层级标注模型，其中，所述韵律层级标注模型用于对韵律层级结构进行标注，所述韵律层级结构包括韵律词、韵律短语以及语调短语的至少一种，或，所述韵律层级结构包括韵律词和韵律短语的至少一种；

其中，所述对所述每个词语对应的词语标识、所述每个词语的待训练文本特征集合以及所述每个词语的待训练声学特征集合进行训练，得到韵律层级标注模型，包括：

通过所述韵律层级标注模型中的词嵌入层获取目标词语标识的第一输出结果，其中，所述目标词语标识对应于目标词语，所述目标词语属于所述至少一个词语中的任意一个词语，所述词嵌入层为根据第一模型参数训练得到的；

通过所述韵律层级标注模型中的文本神经网络获取目标待训练文本特征集合的第二输出结果，其中，所述目标待训练文本特征集合对应于所述目标词语，所述文本神经网络为根据第二模型参数训练得到的；

对所述第一输出结果、所述第二输出结果以及目标待训练声学特征集合进行训练，得到第三模型参数，其中，所述目标待训练声学特征集合对应于所述目标词语，所述第三模型参数用于生成所述韵律层级标注模型中的声学神经网络；

根据所述第一模型参数、所述第二模型参数以及所述第三模型参数，生成所述韵律层级标注模型。