[发明专利]基于手绘草图的人体图像生成方法及系统

权利要求书

1.一种基于手绘草图的人体图像生成方法，其特征在于，包括：

获取手绘人体草图，并根据预设身体部件，对所述手绘人体草图进行分割，得到分割后的手绘人体草图；

对所述分割后的手绘人体草图进行几何形态改善处理，得到第一人体草图和第一解析图，所述第一解析图为所述第一人体草图对应的掩码图；

将所述第一人体草图和所述第一解析图输入到训练好的结构改善模型中，得到第二人体草图和第二解析图，所述第二解析图为所述第二人体草图对应的掩码图，其中，所述训练好的结构改善模型是由标记有身体部件类型的样本身体部件边图，对姿态估计网络和空间变换网络进行训练得到的；

将所述第二人体草图和所述第二解析图输入到训练好的人体图像合成模型中，得到人体合成图像，所述训练好的人体图像合成模型是由经过空间变换的样本身体部件边图，对GauGAN模型进行训练得到的。

2.根据权利要求1所述的基于手绘草图的人体图像生成方法，其特征在于，在所述将所述第二人体草图和所述第二解析图输入到训练好的人体图像合成模型中，得到人体合成图像之后，所述方法还包括：

根据人体合成图像和第二解析图，对所述人体合成图像中的脸部区域进行裁切，得到脸部图像块和对应的脸部掩码；

将所述脸部图像块和所述脸部掩码输入到训练好的人脸改善模型中，得到人脸区域的残差图像，所述训练好的人脸改善网络是由样本脸部图像块和对应的样本脸部掩码，对神经网络进行训练得到的；

根据所述残差图像，对所述人体合成图像的人脸区域进行优化，得到人脸区域优化后的人体合成图像。

3.根据权利要求1所述的基于手绘草图的人体图像生成方法，其特征在于，所述对所述分割后的手绘人体草图进行几何形态改善处理，得到第一人体草图和第一解析图，包括：

将所述分割后的手绘人体草图中每个身体部件草图，输入到对应的隐向量编码器中，得到每个身体部件草图的隐向量；

通过检索和插值的方式，将每个隐向量投影到对应的潜在空间，得到每个身体部件草图的投影向量；

将每个投影向量输入到身体部件草图解码器中，得到几何改善后的身体部件草图；将每个投影向量输入到分割解码器中，得到身体部件掩码图；

将所有几何改善后的身体部件草图进行合并，得到第一人体草图；将所有身体部件掩码图进行合并，得到第一解析图。

4.根据权利要求1所述的基于手绘草图的人体图像生成方法，其特征在于，所述训练好的结构改善模型通过以下步骤得到：

获取样本身体部件边图，并对每个样本身体部件边图标记身体部件类型的标签，构建得到第一训练样本集；

将所述第一训练样本集输入到姿态估计网络中进行训练，得到每个样本身体部件边图对应的样本身体部件热力图，以及预训练的姿态估计网络，并根据样本身体部件热力图构建得到第二训练样本集；

将所述第一训练样本集和所述第二训练样本输入到空间变换网络中进行训练，得到预训练的空间变换网络；

根据所述预训练的姿态估计网络和所述预训练的空间变换网络，构建得到训练好的结构改善模型。

5.根据权利要求1所述的基于手绘草图的人体图像生成方法，其特征在于，所述方法还包括：

将人像风格参照图像输入到训练好的图像风格编码器中，得到人像风格特征向量，所述训练好的图像风格编码器是由标记有人像风格标签的样本人体风格参照图像，对神经网络训练得到的；

将所述人像风格特征向量、所述第二人体草图和所述第二解析图输入到训练好的人体图像合成模型中，得到具有所述人像风格特征向量对应风格的人体合成图像。

6.根据权利要求4所述的基于手绘草图的人体图像生成方法，其特征在于，所述空间变换网络是由多个空间变换子网络，通过级联的方式构建得到的。

7.根据权利要求1所述的基于手绘草图的人体图像生成方法，其特征在于，所述预设身体部件包括头发、人脸、上身衣着、下身衣着和四肢。