[发明专利]虚拟说话人肢体手势生成方法、装置、设备及存储介质

权利要求书

1.一种虚拟说话人肢体手势生成方法，所述方法包括：

将说话音频、说话文本以及初始化手势序列输入自注意力肢体手势生成网络中；

通过所述自注意力肢体手势生成网络对所述说话音频、说话文本以及初始化手势序列进行特征提取，得到音频特征、文本特征以及初始化手势序列特征；

通过所述自注意力肢体手势生成网络对所述音频特征、文本特征以及初始化手势序列特征进行融合处理，得到合成手势序列。

2.根据权利要求1所述的方法，其特征在于，所述自注意力肢体手势生成网络的训练步骤包括：

收集说话人视频；

对所述说话人视频进行处理，得到所述说话人视频中的说话音频、说话文本以及初始化手势序列；

将所述说话音频、说话文本以及初始化手势序列作为训练集，将所述说话人视频作为对照组输入所述自注意力肢体手势生成网络中对该网络进行训练，得到训练好的自注意力肢体手势生成网络。

3.根据权利要求1所述的方法，其特征在于，通过所述自注意力肢体手势生成网络对所述说话音频进行特征提取的步骤包括：

对所述说话音频进行计算，得到该段音频的梅尔频谱；

将所述梅尔频谱输入音频编码器中，得到所述音频特征。

4.根据权利要求1所述的方法，其特征在于，通过所述自注意力肢体手势生成网络对所述说话文本进行特征提取的步骤包括：

使用预训练好的语言模型对所述说话文本进行处理，得到语义特征；

将所述语义特征与所述音频特征进行时序对齐，得到对齐后的语义特征；

将所述对齐后的语义特征输入语义编码器，得到所述文本特征。

5.根据权利要求1所述的方法，其特征在于，通过所述自注意力肢体手势生成网络对所述初始化手势序列进行特征提取的步骤包括：

将所述初始化手势序列输入初始化手势序列编码器，得所述初始化手势序列特征。

6.根据权利要求1所述的方法，其特征在于，通过所述自注意力肢体手势生成网络对所述音频特征、文本特征以及初始化手势序列特征进行融合处理，得到合成手势序列，包括：

将所述音频特征和所述文本特征进行加和，得到加和后的特征；

将所述加和后的特征和所述初始化手势序列特征输入解码器中，得到所述合成手势序列。

7.一种虚拟说话人肢体手势生成装置，其特征在于，所述装置包括：

数据输入模块，用于将说话音频、说话文本以及初始化手势序列输入自注意力肢体手势生成网络中；

特征提取模块，用于通过所述自注意力肢体手势生成网络对所述说话音频、说话文本以及初始化手势序列进行特征提取，得到音频特征、文本特征以及初始化手势序列特征；

手势合成模块，用于通过所述自注意力肢体手势生成网络对所述音频特征、文本特征以及初始化手势序列特征进行融合处理，得到合成手势序列。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1至6任一所述的方法中的步骤。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至6任一所述的方法的步骤。