[发明专利]基于注意力的时钟层次变分编码器

权利要求书

1.一种方法(400)，包括：

在数据处理硬件(112)处接收具有至少一个词(240)的文本话语(310)，每个词(240)具有至少一个音节(230)，每个音节(230)具有至少一个音素(220)；

由所述数据处理硬件(112)为所述文本话语(310)选择话语嵌入(204)，所述话语嵌入(204)表示预期韵律；以及

对于每个音节(230)，使用所选择的话语嵌入(204)：

由所述数据处理硬件(112)通过基于注意力机制(340)针对所述音节(230)的每个音素(220)的语言特征(222)的注意力将所述音节(230)的韵律音节嵌入(232、234)解码，来预测所述音节(230)的持续时间(238)；以及

由所述数据处理硬件(112)基于所预测的所述音节(230)的持续时间(238)来生成多个固定长度预测帧(260)。

2.根据权利要求1所述的方法(400)，还包括：

由所述数据处理硬件(112)基于所预测的所述音节(230)的持续时间(238)来预测所述音节(230)的音高轮廓(F0)，以及

其中，所述多个固定长度预测帧(260)包括固定长度预测音高帧(260、260F0)，每个固定长度预测音高帧(260F0)表示所述音节(230)的预测音高轮廓(F0)的一部分。

3.根据权利要求1或权利要求2中任一项所述的方法(400)，还包括，对于每个音节(230)，使用所选择的话语嵌入(204)：

由所述数据处理硬件(112)基于所预测的所述音节(230)的持续时间(238)来预测每个音节(230)的能量轮廓(C0)；以及

由所述数据处理硬件(112)基于所预测的对应音节(230)的持续时间(238)来生成多个固定长度预测能量帧(260、260C0)，每个固定长度能量帧(260C0)表示所预测的所述对应音节(230)的能量轮廓(C0)。

4.根据权利要求1至3中任一项所述的方法(400)，其中，所述多个固定长度预测帧(260)包括所述音节(230)的固定长度预测频谱帧(260、260M0)。

5.根据权利要求1至4中任一项所述的方法(400)，其中，表示所述文本话语(310)的层次语言结构(200)的网络包括：

包括所述文本话语(310)的每个词(240)的第一级别；

包括所述文本话语(310)的每个音节(230)的第二级别；以及

包括所述文本话语(310)的每个音节(230)的每个固定长度预测帧(260)的第三级别。

6.根据权利要求5所述的方法(400)，其中：

表示所述层次语言结构(200)的所述网络的所述第一级别包括表示所述文本话语(310)的每个词(240)的长短期记忆LSTM处理块；

表示所述层次语言结构(200)的所述网络的所述第二级别包括表示所述文本话语(310)的每个音节(230)的LSTM处理块，所述第二级别的LSTM处理块相对于所述第一级别的LSTM处理块计时并且比所述第一级别的LSTM处理块更快计时；以及

表示所述层次语言结构(200)的所述网络的所述第三级别包括表示每个固定长度预测帧(260)的LSTM处理块，所述第三级别的LSTM处理块相对于所述第二级别的LSTM处理块计时并且比所述第二级别的LSTM处理块更快计时。

7.根据权利要求1至6中任一项所述的方法(400)，其中，预测所述音节(230)的持续时间(238)包括：

对于与所述音节(230)相关联的每个音素(220)：

编码对应音素(220)的一个或多个语言特征(222)；

将所编码的一个或多个语言特征(222)输入到所述注意力机制(340)；以及

将所述注意力机制(340)的所述注意力应用于所述韵律音节嵌入(232、234)。