[发明专利]基于手绘草图的人体图像生成方法及系统

说明书

本发明提供一种基于手绘草图的人体图像生成方法及系统，该方法包括：对手绘人体草图进行分割，得到分割后的手绘人体草图；对分割后的手绘人体草图进行几何形态改善处理，得到第一人体草图和第一解析图；将第一人体草图和第一解析图输入到训练好的结构改善模型中，得到第二人体草图和第二解析图，其中，训练好的结构改善模型是由标记有身体部件类型的样本身体部件边图，对姿态估计网络和空间变换网络进行训练得到的；将第二人体草图和第二解析图输入到训练好的人体图像合成模型中，得到人体合成图像。本发明能够改善手绘人体草图的局部几何结构和整体结构，生成更符合真实人像的几何形态和结构比例的图像。

技术领域

本发明涉及图像合成技术领域，尤其涉及一种基于手绘草图的人体图像生成方法及系统。

背景技术

创作出一张自然合理的人体图像，能够在许多实际场景中得以运用，例如，时尚设计、电影特效和教学训练等。通过草图进行绘制，是一种简单有效的人像生成方法，新手用户对于这种只需纸笔的模式也非常熟悉。

在人体图像合成领域，目前主要的研究者都聚焦于人体姿态变换任务，即输入来源人像和目标姿态，合成出本人在目标姿态下的图像。为了实现该任务，一些方法使用部件掩码、人体解析或者流场映射，对来源人像的局部区域进行空间变换，从而能够维护本人在目标姿态下的外观特征。其他方法引入了参数化模型SMPL或者稠密姿态，来提供人体结构的先验信息。

现有方法都可以对来源人像的某些属性进行编辑，但是不能从无到有，生成出一张全新的人体图像。因此，现在亟需一种基于手绘草图的人体图像生成方法及系统来解决上述问题。

发明内容

针对现有技术存在的问题，本发明提供一种基于手绘草图的人体图像生成方法及系统。

本发明提供一种基于手绘草图的人体图像生成方法，包括：

获取手绘人体草图，并根据预设身体部件，对所述手绘人体草图进行分割，得到分割后的手绘人体草图；

对所述分割后的手绘人体草图进行几何形态改善处理，得到第一人体草图和第一解析图，所述第一解析图为所述第一人体草图对应的掩码图；

将所述第一人体草图和所述第一解析图输入到训练好的结构改善模型中，得到第二人体草图和第二解析图，所述第二解析图为所述第二人体草图对应的掩码图，其中，所述训练好的结构改善模型是由标记有身体部件类型的样本身体部件边图，对姿态估计网络和空间变换网络进行训练得到的；

将所述第二人体草图和所述第二解析图输入到训练好的人体图像合成模型中，得到人体合成图像，所述训练好的人体图像合成模型是由经过空间变换的样本身体部件边图，对GauGAN模型进行训练得到的。

根据本发明提供的一种基于手绘草图的人体图像生成方法，在所述将所述第二人体草图和所述第二解析图输入到训练好的人体图像合成模型中，得到人体合成图像之后，所述方法还包括：

根据人体合成图像和第二解析图，对所述人体合成图像中的脸部区域进行裁切，得到脸部图像块和对应的脸部掩码；

将所述脸部图像块和所述脸部掩码输入到训练好的人脸改善模型中，得到人脸区域的残差图像，所述训练好的人脸改善网络是由样本脸部图像块和对应的样本脸部掩码，对神经网络进行训练得到的；

根据所述残差图像，对所述人体合成图像的人脸区域进行优化，得到人脸区域优化后的人体合成图像。

根据本发明提供的一种基于手绘草图的人体图像生成方法，所述对所述分割后的手绘人体草图进行几何形态改善处理，得到第一人体草图和第一解析图，包括：

将所述分割后的手绘人体草图中每个身体部件草图，输入到对应的隐向量编码器中，得到每个身体部件草图的隐向量；

通过检索和插值的方式，将每个隐向量投影到对应的潜在空间，得到每个身体部件草图的投影向量；