[发明专利]一种基于神经网络搜索的虚拟试穿方法和系统

说明书

本发明提供了一种基于神经网络搜索的虚拟试穿方法和系统，所述方法包括：获取人体形状图和目标衣物图片，通过语义预测网络和Openpose网络获得人体关键点图、人体语义分割图和部分语义分割图；构造变形网络搜索空间，将原衣物掩模和目标衣物图片掩模联接，搜索出衣物变形场；通过衣物变形场将目标衣物变形至目标形态；构造融合网络搜索空间，结合人体形状图、人体关键点图、目标衣物图片和人体语义分割图得到试穿结果。本发明通过神经网络搜索以及双层层次搜索空间，针对不同的衣物种类自动搜索出的衣物变形场，提供了一种成功率高、自由度高的虚拟试穿方法和系统，能够解决不同服装的变形差异引起的空间错位，具有较高的效率和灵活性。

技术领域

本发明涉及虚拟试穿领域，尤其涉及一种基于神经网络搜索的虚拟试穿方法和系统。

背景技术

由于生成模型的迅速的发展和巨大的实用价值，基于图像的虚拟试穿具有较大的应用前景。虚拟试穿的核心挑战是找到合适的变形方法，以解决源和目标服装区域之间的空间错位。现有技术主要通过基于TPS的方法或基于流的方法模拟非刚性服装变形来解决这一问题。基于TPS的方法通过估计薄板样条变换的参数，将衣物传到人体上。虽然结果总体上很好，但是基于TPS的方法自由度有限，当服装变形大或遮挡严重时，往往会导致试穿失败。而基于流的方法通过估计密集流场，对图像空间中的精细元素像素点进行操作，在面对不同服装类别时始终如一地使用固定的变形结构，导致了较低的变换效率，且将可能的变形限制在局部变形子空间，在复杂的试穿场景下，试穿效果不理想。

发明内容

本发明提供了一种基于神经网络搜索的虚拟试穿方法和系统，解决了不同服装的变形差异引起的空间错位，提高了试穿的自由度和成功率。

为了解决上述技术问题，本发明实施例提供了一种，包括：

获取人体形状图和目标衣物图片，通过语义预测网络和Openpose网络，获得人体关键点图、人体语义分割图和部分语义分割图；

构造变形网络搜索空间，将原衣物对应的掩模和目标衣物图片对应的掩模联接，在所述变形网络搜索空间中搜索出与衣物种类对应的衣物变形场；

通过所述衣物变形场将目标衣物图片变形至目标形态；

构造融合网络搜索空间，通过所述融合网络搜索空间，结合所述人体形状图、所述人体关键点图、目标形态下的目标衣物图片和所述人体语义分割图，得到试穿结果。

进一步地，所述获取人体形状图和目标衣物图片，通过语义预测网络和Openpose网络，获得人体关键点图、人体语义分割图和部分语义分割图，具体为：

输入所述人体形状图，通过Openpose网络预测出所述人体关键点图，通过第一语义预测网络预测出所述人体语义分割图；

根据所述人体关键点图和所述人体语义分割图，对所述人体形状图进行截取，获得包含人体面部和头部的图像，并将所述人体语义分割图转换为二进制掩模；

根据所述人体关键点图、包含人体面部和头部的图像和与所述人体语义分割图对应的二进制掩模联接，通过第二语义预测网络得到部分语义分割图。

进一步地，所述将原衣物对应的掩模和目标衣物图片对应的掩模联接，在所述变形网络搜索空间中搜索出与衣物种类对应的衣物变形场，具体为：

将原衣物对应的掩模和目标衣物图片对应的掩模联接，通过所述变形网络搜索空间提取特征层并预测得到粗糙变形流场，通过所述特征层的若干次变形和所述粗糙变形流场的若干次精细化，搜索出经过精细化的与衣物种类对应的衣物变形场。

进一步地，所述通过所述衣物变形场将目标衣物图片变形至目标形态，具体为：

根据所述衣物变形场中每个像素，对所述目标衣物图片的每个像素点进行x方向偏移计算和y方向偏移计算，得到目标形态下的目标衣物图片。