[发明专利]一种基于姿势引导的虚拟试穿方法及装置

权利要求书

1.一种基于姿势引导的虚拟试穿方法，其特征在于，包括：

提取并利用目标人体的姿势关键点信息的特征和原人体体型的特征，预测目标人体的体型；

利用第一卷积神经网络提取服装的特征信息，利用第二卷积神经网络提取预测的目标人体的体型与目标人体的姿势关键点的级联特征信息，计算出服装与目标人体匹配的分数，基于该分数得到形变后的服装；

将形变后的服装特征信息及原始人体体型与目标人体姿势关键点的级联特征信息输入至基于注意力机制的双向生成对抗网络，最终输出试穿合成人像，所述试穿合成人像与原始人像可保持相同的数据分布；

具体步骤为：构建一个包含两个编码器和一个解码器的生成器G，将利用第一卷积神经网络得到的形变后的服装T_θ(c)和原始人物图像I_A与目标人体姿势关键点P_B的级联p输入该生成器中，得到目标人物图像

采用注意力机制来推动试穿网络关注目标试穿区域，实现形变服装与目标人体之间的无缝对齐；引入一个转换层L₁，它的重点是生成粗糙的目标人物图像使其作为模板；同时，设计了一个注意层L_A，用于生成与目标人体形状相同的注意力掩码A；根据和掩码A，可以生成最终的目标人物图像

其中⊙代表元素矩阵乘法；

由于期望试穿区域的注意力得分比其它区域的注意力得分高，因此使用L1对注意力部分进行正则化：

其中M代表真实图像的试穿区域掩码；TV代表L1范数TV正则化，用来以惩罚注意力掩码A的梯度并确保空间平滑；λ_TV代表权衡非负超参数；

最后使用标准的GAN损失规范生成图像与真实图像I_B：

其中D代表生成对抗网络中的鉴别器，p代表数据分布；

为了更好的捕捉图像的像素特征以及边缘、颜色和纹理特性，采用了L1损失和VGG19感知损失构建该部分的损失函数：

其中代表真实图像的特征图，用于某些预先训练的CNN中的第i层，λ_i代表常系数；

将最终获得的目标人物图像和原人物的服装输入另一个生成器中，从而保证合成人像与原始人像保持相同的数据分布；

构造损失函数：

最后，整个试穿部分的损失函数可以表示为：

L＝λ_GL_GAN+λ_CycGL_CycG+λ_AttenL_Atten+λ_CONL_CON+λ_CycCL_CycC

其中λ_G、λ_CycG、λ_Atten、λ_CON和λ_CycC表示控制每个损失部分的相对重要性的超参数。

2.如权利要求1所述的一种基于姿势引导的虚拟试穿方法，其特征在于，所述基于注意力机制的双向生成对抗网络包括两个生成器，每个生成器均包含两个编码器和一个解码器；每个生成器后均串接有并联连接的转换层和注意层。

3.如权利要求2所述的一种基于姿势引导的虚拟试穿方法，其特征在于，输出试穿合成人像的过程包括：

将形变后的服装特征信息及原始人体体型与目标人体姿势关键点的级联特征信息输入至一个生成器中，得到粗糙的目标人物图像；

使用注意力机制对粗糙的目标人物图像进行微调，并将最终获得的目标人物图像和原人物的服装输入另一个生成器中，从而保证合成人像与原始人像保持相同的数据分布。

4.如权利要求1所述的一种基于姿势引导的虚拟试穿方法，其特征在于，采用编码器-解码器结构构建目标人体体型预测网络。