[发明专利]一种姿态和纹理引导的时尚服装设计合成方法

权利要求书

1.一种姿态和纹理引导的时尚服装设计合成的方法，其特征在于包括如下步骤：

步骤(1)、借助现有的时尚数据集，收集任务的数据，并对数据进行预处理，构建时尚图像、姿态信息、语义信息数据组；

步骤(2)、在现有时尚数据集下，以生成自然准确的时尚图像为目标，构建两阶段生成模型；生成模型包括语义布局生成网络和纹理生成网络，实现纹理有效转移，生成多样性的时尚图像；

步骤(3)、在最小化对抗损失、交叉熵损失、像素级损失、感知损失及风格损失下，利用收集到的数据组训练语义布局生成网络和纹理转移网络；

步骤(4)、通过反向传播算法对步骤(3)中的生成模型中的网络参数进行训练，直至整个模型收敛，生成对应的时尚图像；

步骤(1)所述的构建时尚图像、姿态信息、语义信息数据组，是指对于对应的时尚图像数据，使用最先进的姿态评估器从时尚图像中估计人的姿态，计算出的人的姿态信息包含18个关节坐标点；另外，使用先进的人体解析器来计算一个包含20个标签的人体语义信息，每个标签代表人体的特定部分；

步骤(2)所述的构建两阶段生成模型，包括语义布局生成网络和纹理生成网络，实现纹理有效转移，生成多样性的时尚图像，第一阶段：语义布局生成网络的具体实现如下：

在语义布局生成网络中，目标是将引导姿态p映射到一系列人的语义布局{H₁,H₂,....,H_N}；这些语义布局提供了充分的人体形状和服装结构的先验知识；

使用姿态信息以及对应的语义信息作为输入，学习生成多样化的语义信息；语义布局生成网络建立在BicycleGAN模型的基础上，语义布局生成网络包括一个条件变分自编码神经子网络和一个条件潜在回归神经子网络；

条件变分自编码神经子网络使用姿态信息和语义信息一起作为输入，使用编码器处理语义信息，编码得到控制特征的潜在向量后，与姿态信息一起输入生成器，生成对应的重构语义信息；使用KL损失约束潜在向量服从高斯分布，方便在测试时采样；

条件潜在回归神经网络使用姿态信息和随机采样的服从高斯分布的向量作为生成器的输入，在判别器的约束下生成真实的语义布局，通过使用编码器对生成的语义布局进行处理，使用L1损失约束生成的向量与原有的服从高斯分布的向量，保证一对一的生成，进一步实现多样化语义信息的输出。

2.根据权利要求1所述的一种姿态和纹理引导的时尚服装设计合成的方法，其特征在于第二阶段：纹理生成网络具体实现如下：

在纹理生成网络中，目标是设计一个纹理生成网络来生成经过语义布局生成网络转换后的语义布局上的纹理，其中服装区域的合成纹理要求与引导纹理示例一致，合成人体外观应具有感知说服力；语义布局生成网络的多样化的语义布局输出为纹理生成网络提供了多模态的信息输入；

将上下装的纹理生成分开处理，分别生成上装和下装，将纹理块、纹理块区域掩膜、以及服装区域掩膜作为输入，分别通过编码器、纹理生成块和解码器以及Patch-GAN判别器实现纹理生成网络；编码器对输入的纹理块进行解码，纹理生成块将局部纹理特征转移到对应的服装区域，解码器实现将重构的特征解码为对应的时尚图像；同时加入了Patch-GAN判别器与编码器、纹理生成块和解码器共同训练；

所述的纹理生成网络的编码器：

编码器采用普通的Encoder结构，对输入的纹理块进行解码，与其他方法相比，我们在Encoder中使用部分卷积代替标准卷积层，避免产生模糊、颜色差异；在每个位置的部分卷积表示为：

其中X为当前卷积滑动窗口的特征值，M为纹理块区域掩膜对应当前卷积窗口的二进制掩膜，W为卷积滤波器权值，b为偏置；sim(M)为二进制掩膜内值为1的个数；

在每个部分卷积操作之后，更新掩膜如下:如果当前卷积窗口的二进制掩膜内至少有一个有效的输入值，那么将该窗口卷积操作后的掩膜的对应位置标记为有效，表示为: