[发明专利]面部图像生成方法、装置、设备及存储介质

权利要求书

1.一种面部图像生成方法，其特征在于，包括：

获取面部素材数据，所述面部素材数据包括面部线框图、面部遮罩图、面部描述文本，以及面部参考图中的至少一种；所述面部线框图包括对目标面部区域的轮廓标注线，所述面部遮罩图通过对待调整面部区域进行遮罩得到；

将所述面部素材数据输入预先训练的面部生成模型，得到所述面部生成模型生成的与所述面部素材数据匹配的目标面部图像；

其中，所述面部生成模型通过以面部线框图、面部遮罩图、面部描述文本和面部参考图为输入进行面部图像生成训练得到。

2.根据权利要求1所述的方法，其特征在于，所述面部素材数据至少包括面部参考图，以及，还包括面部线框图、面部遮罩图和面部描述文本中的至少一种；

其中，所述面部遮罩图包括对所述面部参考图中的第一面部区域进行遮罩得到的面部遮罩图；

所述面部描述文本包括对所述面部参考图中的第二面部区域的描述文本；

所述面部线框图包括利用线框对所述面部参考图和/或所述面部遮罩图中的第三面部区域进行轮廓标记得到的面部线框图。

3.根据权利要求1所述的方法，其特征在于，所述面部参考图包括所述面部生成模型生成的面部图像。

4.根据权利要求1所述的方法，其特征在于，所述面部生成模型生成的与所述面部素材数据匹配的目标面部图像，包括：

对每一种面部素材数据分别进行编码，得到每一种面部素材数据对应的编码特征；

基于预先确定的对应所述每一种面部素材数据的权重，对所述每一种面部素材数据对应的编码特征进行特征融合处理，得到融合特征；

基于所述融合特征，解码得到目标面部图像。

5.根据权利要求1至4中任意一项所述的方法，其特征在于，所述面部生成模型，包括编解码模型和扩散模型；

其中，所述编解码模型包括编码模型和解码模型，所述编码模型、所述扩散模型以及所述解码模型依次串联。

6.根据权利要求5所述的方法，其特征在于，所述编解码模型的训练过程包括：

利用编码模型提取第一样本图像的样本特征图，并基于所述样本特征图的均值和方差，计算得到所述样本特征图与特定数据分布之间的第一图像生成损失；

基于所述样本特征图的均值和方差，以及噪声图，生成对应所述样本特征图的采样特征图；

将所述采样特征图输入解码模型，得到解码图像，并基于所述解码图像以及所述第一样本图像，计算得到第二图像生成损失；

基于所述第一图像生成损失和所述第二图像生成损失，对所述编码模型和所述解码模型进行参数校正。

7.根据权利要求6所述的方法，其特征在于，所述噪声图包括从标准正态分布中采样得到的高斯噪声图；

和/或，

所述第二图像生成损失包括均方损失MSE和/或生成对抗网络GAN损失。

8.根据权利要求5所述的方法，其特征在于，所述扩散模型的训练过程，包括：

将第二样本图像输入编码模型，得到对应所述第二样本图像的采样特征图；所述第二样本图像包括样本面部遮罩图，所述样本面部遮罩图通过对样本面部参考图进行面部区域遮罩处理得到；

将所述采样特征图、样本面部线框图、噪声图，以及样本面部描述文本的文本特征，输入扩散模型，使所述扩散模型通过预测图像噪声进行图像重建；

至少基于所述扩散模型训练过程中的噪声预测损失，对所述扩散模型进行参数校正。

9.根据权利要求8所述的方法，其特征在于，所述样本面部描述文本的文本特征，包括所述样本面部描述文本的整句特征和/或所述样本面部描述文本的各个分句的分句特征。