[发明专利]面部图像生成方法、装置、设备及存储介质

说明书

本申请提供了一种面部图像生成方法、装置、设备及存储介质，涉及神经网络技术领域。该面部图像生成方法包括：获取面部素材数据，面部素材数据包括面部线框图、面部遮罩图、面部描述文本，以及面部参考图中的至少一种；将面部素材数据输入预先训练的面部生成模型，得到面部生成模型生成的与面部素材数据匹配的目标面部图像。通过一种或多种面部素材数据作为面部生成模型的输入，支持用户可以利用不同模式的面部素材数据对目标面部图像的需求进行表达，降低了用户的操作难度，提高了目标面部图像的生成效率以及准确性。

技术领域

本申请涉及神经网络技术领域，具体涉及一种面部图像生成方法、装置、设备及存储介质。

背景技术

随着虚拟人技术的快速发展，用户对虚拟人创建的真实度、便捷性以及精确性的要求也显著地提高，尤其是对虚拟人面部的真实感的要求。

相关技术中，通常会以用户提供的图像为参考，然后进行3D（3 Dimensions，三维）的面部生成技术来生成面部图像。或者利用用户提供的针对图像的文本描述为参考，然后进行2D（2 Dimensions，二维）的面部生成技术来生成面部图像。通过上述单一模态作为参考生成面部图像，难以真实而全面地把握用户需求，从而导致生成的面部图像，通常与用户需求的目标面部图像差别较大。

发明内容

为了解决上述技术问题，提出了本申请。本申请实施例提供了一种面部图像生成方法、装置、设备及存储介质。

第一方面，本申请一实施例提供了一种面部图像生成方法，该方法包括：获取面部素材数据，所述面部素材数据包括面部线框图、面部遮罩图、面部描述文本，以及面部参考图中的至少一种；所述面部线框图包括对目标面部区域的轮廓标注线，所述面部遮罩图通过对待调整面部区域进行遮罩得到；将所述面部素材数据输入预先训练的面部生成模型，得到所述面部生成模型生成的与所述面部素材数据匹配的目标面部图像；其中，所述面部生成模型通过以面部线框图、面部遮罩图、面部描述文本和面部参考图为输入进行面部图像生成训练得到。

结合第一方面，在第一方面的某些实现方式中，所述面部素材数据至少包括面部参考图，以及，还包括面部线框图、面部遮罩图和面部描述文本中的至少一种；其中，所述面部遮罩图包括对所述面部参考图中的第一面部区域进行遮罩得到的面部遮罩图；所述面部描述文本包括对所述面部参考图中的第二面部区域的描述文本；所述面部线框图包括利用线框对所述面部参考图和/或所述面部遮罩图中的第三面部区域进行轮廓标记得到的面部线框图。

结合第一方面，在第一方面的某些实现方式中，所述面部参考图包括所述面部生成模型生成的面部图像。

结合第一方面，在第一方面的某些实现方式中，对每一种面部素材数据分别进行编码，得到每一种面部素材数据对应的编码特征；基于预先确定的对应所述每一种面部素材数据的权重，对所述每一种面部素材数据对应的编码特征进行特征融合处理，得到融合特征；基于所述融合特征，解码得到目标面部图像。

结合第一方面，在第一方面的某些实现方式中，所述面部生成模型，包括编解码模型和扩散模型；其中，所述编解码模型包括编码模型和解码模型，所述编码模型、所述扩散模型以及所述解码模型依次串联。

结合第一方面，在第一方面的某些实现方式中，所述编解码模型的训练过程包括：利用编码模型提取第一样本图像的样本特征图，并基于所述样本特征图的均值和方差，计算得到所述样本特征图与特定数据分布之间的第一图像生成损失；基于所述样本特征图的均值和方差，以及噪声图，生成对应所述样本特征图的采样特征图；将所述采样特征图输入解码模型，得到解码图像，并基于所述解码图像以及所述第一样本图像，计算得到第二图像生成损失；基于所述第一图像生成损失和所述第二图像生成损失，对所述编码模型和所述解码模型进行参数校正。

结合第一方面，在第一方面的某些实现方式中，所述噪声图包括从标准正态分布中采样得到的高斯噪声图；和/或，所述第二图像生成损失包括均方损失MSE和/或生成对抗网络GAN损失。