[发明专利]基于服装类别及纹理图案控制的时尚服装图像生成方法

权利要求书

1.基于服装类别及纹理图案控制的时尚服装图像生成方法，其特征在于考虑到现有相关数据集的不适应，构建一个全新的数据集，同时在网络结构上进行了创新并且进行了有效性验证；参考设计师在设计服装的过程中先绘制时尚服装设计草图，然后再挑选相应的纹理图案布料应用到设计草图上完成服装设计的步骤，将整个任务分为了基于服装类别控制的时尚服装设计草图生成和基于纹理图案和设计草图控制的时尚服装图像生成两个部分；且两个部分是分开训练的，在完成两个部分的训练后将第一部分的输出作为第二部分时尚设计草图的输入就能拼接两个网络。

2.根据权利要求1所述的基于服装类别及纹理图案控制的时尚服装图像生成方法，其特征在于包括如下步骤：

步骤(1)时尚服装数据集的创建

在互联网时尚大数据中收集高清服装图片作为初始图像数据集，然后对其中的初始图像数据进行清理，之后再使用计算机图像技术进一步处理，最终构建一个时尚服装数据集；

步骤(2)基于服装类别控制的时尚服装设计草图生成

结合CVAE和GAN两者的结构优势，第一部分以服装类别标签作为输入条件生成时尚服装设计草图；且第一部分使用WGAN-GP中的对抗损失代替传统GAN中的对抗损失；

步骤(3)基于纹理图案和设计草图控制的时尚服装图像生成

以纹理图案和设计草图为输入，设计生成模型来生成时尚服装图像；生成模型设计有纹理扩展模块和特征融合模块；纹理扩展模块的设计使得尺寸较小的纹理块信息能够在特征融合前被扩展，从而提供更丰富的指导信息以达到更好的时尚服装图片生成效果；特征融合模块使用空间自适应归一化的方法将扩展后的纹理特征和设计草图特征融合最终生成时尚服装图片；同时生成模型还增加有全新的梯度重构损失以使得生成图像的纹理更加清晰。

3.根据权利要求2所述的基于服装类别及纹理图案控制的时尚服装图像生成方法，其特征在于步骤(1)所述的时尚服装数据集的创建，具体实现如下：

1-1.在互联网时尚大数据中收集高清服装图片作为初始图像数据，使用人工和人脸检测算法对初始图像数据进行清理，只保留包含纯净服饰的图片形成服装数据集；；最终保留12500张服饰图片，服饰图片中包含5个类别：衣服、裤子、短裤、裙子和上衣；每个类别数目相同；并以8.5：1.5的比例划分成了训练集和测试集，训练集和测试集中每个类别的图片数量保持了均匀分布以确保模型训练的可靠性(训练集每个类别2125张图片，测试集每个类别375张图片)；

1-2.对经过清理的服装数据集使用整体嵌套边缘检测技术检测其中时尚服装图像的线条，得到服装的整体骨架图；由于获取的整体骨架图还会包含许多干扰像素，所以对整体骨架图进行二值化处理获得二值化图像；再对二值化图像进行像素值细化操作，从而得到初步的时尚服装设计草图；由于细化后的时尚服装设计草图会留下一些孤立的孤岛像素，所以继续使用删除小面积对象的方法去除孤立的孤岛像素，减少小面积的像素孤岛；最后，再使用去马刺技术去除时尚服装设计草图结构中额外的突出像素，得到所需时尚服装设计草图；

1-3.由于阈值选择问题，得到的时尚服装设计草图容易出现边界像素丢失，这使得时尚服装设计草图轮廓总是不够连续，所以需要进一步改进时尚服装设计草图的效果，具体操作如下：

(1)使用K-means算法对服装数据集中每张纯净服饰图片的像素进行聚类；

(2)通过Sobel滤波的方法计算聚类矩阵的梯度，得到梯度图，在该梯度图上执行Flood-Fill操作，获得服装数据集中每张纯净服饰图片的前景和背景分开的蒙版图；

(3)通过计算蒙版图的梯度并将其二值化来生成连续的轮廓图像；

(4)通过叠加时尚服装设计草图和轮廓图像来进一步增强服装设计草图的效果，得到最终时尚服装设计草图。