[发明专利]一种基于稠密流的虚拟试衣方法

说明书

本发明公开了一种基于稠密流的虚拟试衣方法。本发明主要涉及利用深层神经网络生成目标语义分割图，并通过语义分割图利用可变形卷积神经网络预测稠密流，用于对源服装的特征信息进行空间形变并与目标人体信息融合得到服装转换的结果。本发明包括如下步骤：步骤(1)、生成目标语义分割图；步骤(2)、计算稠密流；步骤(3)、对人体信息和源服装信息进行融合得到最后的结果。本发明不需要服装的原始产品图，而是一张模特图，同时也能完成同一件服装在不同人物身上以不同视角的呈现，生成的结果纹理清晰，转换自然，目前获得了在该领域最好的效果。

技术领域

本发明属于虚拟试衣技术领域，提出一种基于稠密流的虚拟试衣方法。

背景技术

随着近年来互联网发展迅速，产生了一系列电商平台，众多人群选择从互联网上购买所需商品，比如生活用品、食物和衣物，这与线下购买方式相比为人们提供了极大的便捷。但线上购物也有一些弊端，如从互联网上购买衣物时，由于无法试穿衣服，可能导致顾客糟糕的购物体验，为了解决这个问题，虚拟试衣任务应运而生。基于图像的虚拟试衣在近年来已成为了一个热门话题的，目的是将服装图像转移到目标人物身上。传统的虚拟试衣任务通常侧重于在保持人体姿势不变情况下令服装扭曲成符合人体，并保存服装形象的特征(纹理，图标，刺绣)。此外姿势引导的人体生成在大量的现实应用程序中非常重要，特别是对于时尚行业，客户或造型师希望将服装从一个人转移到另一个人。图像到图像转换的生成网络的最新进展激发了研究人员通过输入源图像和目标姿态作为输入，然后合成目标图像来解决这个问题。然而，衣服的非刚性性质可能会导致严重变形和无法正确处理的严重遮挡，从而限制其在目标视图中呈现服装细节(例如，图案、图形、标志)的性能。以上两个任务都有较大的限制，第一个任务需要先获得服装的原始产品图，第二个任务只针对同一人物和服装的不同视角的生成，不考虑服装交换问题。本发明结合了上述两个任务的特点并更具挑战性，我们不需要服装的原始产品图，而是一张穿着源服装的模特图，同时可以完成同一件服装在不同人物身上以不同视角的呈现。想象一下，你能在舒适的家里，在几分钟内，在外面，尝试穿上名人红毯上的不同类型的衣服而不用花费大量的购物时间。在本发明中，我们的目标是通过一种算法来实现这一目标，在任意姿势、形状和服装中的两个单个视图模特图像之间传递服装信息。例如，在拍摄完照片后，摄影师可能会决定穿着不同的摄影环境和照明条件的衣服看起来更好。服装转移也很适合于设计理念，它可以回答诸如“这种风格的服装在不同体型和比例上的外观如何？”这些应用程序需要解决共同推断一个人的身体姿势、形状和服装的具有挑战性的问题，因此我们的任务需要解决以下几个问题：

(1)推断出源服装呈现在目标人物身上的语义分割图：由于源服装来自另一人物的图片，需要根据目标人物的体型推断出源服装在目标人物身上的语义分布。

(2)服装扭曲困难：目前多数工作采用薄板插值样条算法(TPS)来对源服装进行扭曲但由于其有限的自由度当大的几何变化发生时，这会导致不准确和不自然的变换估计。

(3)融合人体和服装信息：现有方法主要是通过掩膜在像素级别上生成结果与扭曲的服装，这往往令最终结果的服装纹理受扭曲服装结果影响而忽略了生成结果的效果。

为了解决上述的问题，我们提出了一个新的方法。

发明内容

本发明的目的是针对现有技术的不足，提出一种基于稠密流的虚拟试衣方法，一种新的方法用于虚拟试衣任务，主要涉及利用深层神经网络生成目标语义分割图，并通过语义分割图利用可变形卷积神经网络预测稠密流，用于对源服装的特征信息进行空间形变并与目标人体信息融合得到服装转换的结果。

本发明解决其技术问题所采用的技术方案如下：

步骤(1)、生成目标语义分割图

将源服装语义分割图、目标人物的姿态信息以及目标人物身体信息经由Unet神经网络估计源服装到目标人物的语义转换，生成目标语义分割图。