[发明专利]用于服装虚拟试穿的人体姿势变换方法及系统

说明书

本发明涉及用于服装虚拟试穿的人体姿势变换方法，包括：分别采集试穿的人体和准备试穿的服装的图像，得到人体图像和目标服装图像；利用语义分割神经网络对人体图像进行语义分割；利用沙漏型卷积神经网络提取人体图像中的姿势点；结合姿势点图和目标服装，采用样条插值算法对目标服装进行多个试穿姿势的扭曲变换，得到具姿势变换的目标服装；采用生成对抗网络对具姿势变换的目标服装和人体图像进行融合，得到试穿服装的人体效果图。本发明还公开了相应的人体姿势变换系统。本发明可进行各种各样服装的虚拟试穿，并展示不同姿态的试穿效果，便于判断服装的穿着效果，代替现场的服装试穿，大大提高人试穿服装的效率，省时省力。

技术领域

本发明属于智能服装制造领域，具体涉及一种用于服装虚拟试穿的人体姿势变换方法及系统。

背景技术

目前，在图像处理时尚领域，对于包含人体图像的人体姿势进行转变的方法可以在2D图像试穿服装后进行各种姿势的变换调整，以增加用户的体验，当下有很大的潜在应用价值。现有的人体变换方法很难保留原始的人物身份信息，即人体的面部，头发，肤色等，使生成的图像模糊，丢失了过多的纹理信息，不具有使用价值。

计算机视觉技术飞速发展，计算机能够处理的场景越来越多，因此越来越多的场合开始使用基于图像的服装处理技术。近年来，出现了基于图像分析的姿势转换方法。公开号为CN111680623A的中国专利“姿态转换方法及装置、电子设备、存储介质”通过对待处理图像进行特征提取，得到所述待处理图像所呈现目标体的目标表观特征，获取目标姿态特征，基于所述目标表观特征以及所述目标姿态特征，对所述待处理图像中的所述目标体进行姿态转换，得到目标图像。这种方法无法对人体进行服装的更换，实际应用中有很大局限性。申请号为CN201910966746.0的中国专利“基于计算机视觉的人体姿态分类方法” 通过监控摄像头采集视频监控数据，筛选出有效人体姿态分类特征，训练出人体姿态分类模型。这种方式没有对图像的姿势进行转换，没有实现姿势转换的效果。

发明内容

本发明的目的是针对上述问题，提供一种用于服装虚拟试穿的人体姿势变换方法及系统，对试穿人的人体图像进行语义分割，并提取人体姿势点，对试穿服装结合人体姿势点进行适应人体姿势的扭曲变换，对具姿势变换的目标服装和人体语义分割图像进行融合生成，并利用人体发肤的特征对得到的试穿服装的人体效果图再次进行融合优化，得到最终的试穿服装的人体效果图，使得试穿效果图更逼真，且可得到不同姿势的试穿效果图，便于判断服装试穿效果，提高服装试穿效率。

本发明的技术方案是用于服装虚拟试穿的人体姿势变换方法，包括以下步骤：

步骤1：分别采集试穿的人体和准备试穿的服装的图像，得到人体图像和目标服装图像；

步骤2：利用语义分割神经网络对人体图像进行语义分割，得到人体语义分割图；

步骤3：利用沙漏型卷积神经网络提取人体图像中的姿势点，得到姿势点图；

步骤4：结合姿势点图和目标服装，采用样条插值算法对目标服装进行多个试穿姿势的扭曲变换，得到具姿势变换的目标服装；

步骤5：根据人体语义分割图，采用生成对抗网络对具姿势变换的目标服装和人体图像进行融合，得到试穿服装的人体效果图；

步骤6：利用卷积神经网络，将步骤5得到的试穿服装的人体效果图与姿势点图以及人体面部、肢体的肤色特征再次进行融合，得到最终的试穿服装的人体效果图。

所述姿势点为人体上随人体动作，变化幅度大的脊柱、肢体上的关节点。

优选地，步骤2中，所述语义分割神经网络为变分自动编码器，可采用Unet网络或FCN或DeepLab。

进一步地，步骤3，所述沙漏型卷积神经网络采用OpenPose或CPM或PoseCNN。

优选地，步骤4中，所述样条插值算法为薄板样条插值算法。