[发明专利]一种基于稠密流的虚拟试衣方法

权利要求书

1.一种基于稠密流的虚拟试衣方法，主要涉及利用深层神经网络生成目标语义分割图，并通过语义分割图利用可变形卷积神经网络预测稠密流，用于对源服装的特征信息进行空间形变并与目标人体信息融合得到服装转换的结果，其特征在于具体包括如下步骤：

步骤(1)、生成目标语义分割图

将源服装语义分割图、目标人物的姿态信息以及目标人物身体信息经由Unet神经网络估计源服装到目标人物的语义转换，生成目标语义分割图；

所述的通过Unet神经网络实现语义层面上的转换,在转换过程中不能改变服装的种类并要保留目标人物的姿态信息和人体信息；

步骤(2)、计算稠密流

根据目标语义分割图能够得到准确的空间位置信息，通过源服装语义分割图和目标语义分割图的服装部分估计稠密流；

步骤(3)、对人体信息和源服装信息进行融合得到最后的结果；

不断在特征层面上融合人体信息和通过稠密流扭曲过后的源服装信息以达到人体和服装混合。

2.根据权利要求1所述的一种基于稠密流的虚拟试衣方法，其特征在于步骤(1)所述的生成目标语义分割图，具体实现如下：

1-1.为了实现源服装到目标人物身上的转换，首先实现语义层面上的转换,在转换过程中不能改变服装的种类并要保留目标人物的姿态信息和人物身体信息；所以利用源服装语义分割图和目标人物的姿态信息以及目标人物身体信息去生成目标语义分割图；

将姿态信息作为输入让Unet神经网络预测人体信息以实现解耦合；

1-2.为了获得用于训练的语义分割图和姿态信息，使用预训练的姿态估计器和人类解析器，具体地说：姿态估计器预测一组人体关键点的二维信息，紧接着将二维信息转换成18个通道的热图，在半径为4像素的圆内标记为1，其余部分标记为0；人类解析器用于预测语义分割图，把语义分割图编码成20个通道的二值图，每个通道对应特定的人体部分，包括头发、脸、服装、胳膊；

1-3.将源服装语义分割图、目标人物的姿态信息以及目标人物身体信息作为Unet神经网络的输入；经过特征提取后由反卷积层得到预测的目标语义分割图；采用交叉熵损失函数来约束模型预测正确的目标语义分割图，损失函数如下：

L_g＝E_x，y[log(D(x，y)]+E_x，z[log(1-D(x，G(x，z))] (1)

L＝L_parsing(y，G(x，z))+L_g (2)

其中L_parsing(x，G(x，y))是交叉熵损失，L_g为生成对抗损失，x为输入，y为真实结果，z为噪声；

1-4.为了监督训练，设定图片A和图片B是穿着同一件服装的同一个人物但姿势并不相同，通过同一个人物的自我服装转换来训练模型。