[发明专利]一种基于多任务多层级模型的文本韵律预测方法

说明书

本发明公开了一种基于多任务多层级模型的文本韵律预测方法，其特征在于，包括有以下步骤：步骤401：获取预测文本；步骤402：对待预测文本针对字表，进行字符级编码；步骤403：使用多任务模型进行序列预测；步骤404：判断句子是否存在长句无L2，L3的情况；步骤405：合并L1、L2、L3的输出结果，其中边界位置重叠，按L3、L2、L1的优先级进行选择合并，返回输出结果，本发明涉及文本韵律预测技术领域。本发明，解决了韵律信息生成误差、不能相互共享信息，且训练和调参麻烦、韵律短语和语调短语的边界预测不够准确、容易出现长句子无韵律短语边界和语调短语边界的问题。

技术领域

本发明涉及文本韵律预测技术领域，特别是涉及一种基于多任务多层级模型的文本韵律预测方法。

背景技术

近几年来，深度学习技术飞速发展的同时，给语音合成方面也带来了很大突破。韵律在语音合成自然度方面起着重要作用，而从文本中提取的韵律信息能给语音合成后端提供十分有效的特征，提高合成语音的停顿感和节奏感；更具体而言，按韵律声学分三个层级：韵律词、韵律短语、语调短语，以上边界语音停顿时长依次增加，特别是韵律短语和语调短语，对语音停顿感和节奏感影响很大。

目前韵律预测相关技术中，最常见的是条件随机场和循环神经网络模型，这两种方法通过模型训练能较好地提取到文本韵律规律，但随着语音合成技术更极致的要求，以上方法便凸显了一些问题，主要如下：

目前文本信息的提取主要依据词向量，而分词不可避免的带来了分词误差，而这往往会给韵律信息生成带来严重影响；

不同韵律特征往往要三个模型分开训练，分别提取不同层次的韵律信息，不能相互共享信息，且训练和调参麻烦；

韵律短语和语调短语的边界预测不够准确，导致韵律短语和语调短语边界容易被预测到词语中间，从而导致错误；

预测阶段，容易出现长句子无韵律短语边界和语调短语边界，这类情况合成语音听感上语速较为急促且无停顿，导致听感舒适度较差。

发明内容

为了解决韵律信息生成误差、不能相互共享信息，且训练和调参麻烦、韵律短语和语调短语的边界预测不够准确、容易出现长句子无韵律短语边界和语调短语边界的问题，本发明的目的是提供一种基于多任务多层级模型的文本韵律预测方法。

为了实现上述目的，本发明采用如下技术方案：一种基于多任务多层级模型的文本韵律预测方法，包括有以下步骤：

步骤401：获取预测文本；

步骤402：对待预测文本针对字表，进行字符级编码，部分单词不在字表中的单词，使用UNK或者其它方式进行替换匹配；

步骤403：使用多任务模型进行序列预测，并得到分别得到句子的L1、L2、L3的各个标签的概率分布；

步骤404：判断句子是否存在长句无L2，L3的情况，如若有一个满足，则采用图三中的择优机制，进行二次选择，生成韵律边界B标签；

步骤405：合并L1、L2、L3的输出结果，其中边界位置重叠，按L3、L2、L1的优先级进行选择合并，返回输出结果。

优选的，所述步骤401中，文本为训练文本，包括文本长度裁剪、非法字符及标点符号纠正等常用文本文本正则化方法；韵律声学中，将句号、问号、感叹号和逗号作为语调短语边界，据此，使用随机去出除文本中的逗号、句号、感叹号、问号及分号等能对文本韵律形成长停顿的标点符号，将标点符号位置视为语调短语级别边界点，并将此类文本作为扩充文本，作为训练数据；本步骤还包括两段或多段短文本的拼接，用来作为韵律文本训练扩充数据。

优选的，所述步骤402中，使用字符级编码方式，建立字表，对于部分单词不在字表中的单词，可以使用UNK或者其它方式进行替换匹配，提高字表的覆盖度。