[发明专利]数字人生成方法及装置、计算机可读存储介质、终端

权利要求书

1.一种数字人生成方法，其特征在于，包括：

确定输入语音以及目标情绪信息；

对所述输入语音进行编码得到语音编码矩阵，以及对所述目标情绪信息进行编码得到情绪编码矩阵；

对所述语音编码矩阵和所述情绪编码矩阵进行融合，得到融合矩阵；

将所述融合矩阵输入至数字人生成模型，得到所述输入语音对应的数字人图像；

其中，对所述目标情绪信息进行编码得到情绪编码矩阵，包括：

基于预设的情绪编码长度，对所述目标情绪信息进行预编码，得到多组情绪子编码，每组情绪子编码中包含两个相同的情绪子编码；

对于每组情绪子编码，确定其中一个情绪子编码的正弦值，以及确定另一个情绪子编码的余弦值，从而确定各个情绪子编码对应的情绪编码，并基于所得到的多个情绪编码，确定所述情绪编码矩阵。

2.根据权利要求1所述的方法，其特征在于，所述目标情绪信息是预设的，或者，所述目标情绪信息是基于所述输入语音和情绪预测模型确定的。

3.根据权利要求1所述的方法，其特征在于，在得到所述输入语音对应的数字人图像之后，所述方法还包括：

采用所述输入语音对应的数字人图像、所述输入语音对应的原始图像以及预设的损失函数，对所述数字人生成模型进行训练，得到优化后的数字人生成模型；

将所述融合矩阵输入至所述优化后的数字人生成模型，得到所述输入语音对应的优化后数字人图像。

4.根据权利要求2或3所述的方法，其特征在于，所述目标情绪信息指示的情绪类型和所述输入语音中包含的情绪类型一致。

5.根据权利要求3所述的方法，其特征在于，所述预设的损失函数为：

其中，L表示所述损失函数，A表示所述数字人图像或所述原始图像在第一方向上的像素点个数，B表示所述数字人图像或所述原始图像在第二方向上的像素点个数，(a,b)表示所述数字人图像或所述原始图像中第一方向上的第a行与第二方向上的第b列的交叉像素点，ch表示像素点的色彩通道，I_g,ch(a,b)表示所述原始图像中第一方向上的第a行与第二方向上的第b列的交叉像素点在ch通道上的像素值，I_ch(a,b)表示所述数字人图像中第一方向上的第a行与第二方向上的第b列的交叉像素点在ch通道上的像素值。

6.根据权利要求3所述的方法，其特征在于，在得到所述输入语音对应的优化后数字人图像之后，所述方法还包括：

对多段输入语音分别对应的优化后数字人图像进行拼接处理，得到数字人生成视频。

7.根据权利要求1所述的方法，其特征在于，采用下述公式，对于每组情绪子编码，确定其中一个情绪子编码的正弦值，以及确定另一个情绪子编码的余弦值，从而确定各个情绪子编码对应的情绪编码，并基于所得到的多个情绪编码，确定所述情绪编码矩阵：

P＝[sin(2⁰πE),cos(2⁰πE),sin(2¹πE),cos(2¹πE)…,sin(2^L-1πE),cos(2^L-1πE)]；

其中，P表示所述情绪编码矩阵，E表示所述目标情绪信息，L表示预编码得到的情绪子编码的组数，2^L-1πE表示第L组情绪子编码中的一个情绪子编码，sin(2^L-1πE)表示第L组情绪子编码中的其中一个情绪子编码的正弦值，cos(2^L-1πE)表示第L组情绪子编码中另一个情绪子编码的余弦值，[x]表示由x组成的矩阵。