[发明专利]一种基于姿势引导的虚拟试穿方法及装置

说明书

本公开提供了一种基于姿势引导的虚拟试穿方法及装置。其中，一种基于姿势引导的虚拟试穿方法，包括提取并利用目标人体的姿势关键点信息的特征和原人体体型的特征，预测目标人体的体型；利用第一卷积神经网络提取服装的特征信息，利用第二卷积神经网络提取预测的目标人体的体型与目标人体的姿势关键点的级联特征信息，计算出服装与目标人体匹配的分数，基于该分数得到形变后的服装；将形变后的服装特征信息及原始人体体型与目标人体姿势关键点的级联特征信息输入至基于注意力机制的双向生成对抗网络，最终输出试穿合成人像，所述试穿合成人像与原始人像可保持相同的数据分布。

技术领域

本公开属于虚拟试穿领域，尤其涉及一种基于姿势引导的虚拟试穿方法及装置。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

近年来随着多媒体技术的发展，在线虚拟试穿任务的研究越来越受到重视。通常，传统的在线虚拟试穿系统主要基于计算机图形学对人体或者衣服进行3D建模，但是3D建模通常需要使用昂贵的扫描仪设备，这对于很多普通人来说是不可行的。

在线购物平台中的衣服通常是平整的，不能够和人的体型相匹配。对衣服进行合理的几何弯曲，使得衣服能够跟消费者的体型进行自适应匹配，从而能够试穿任务得以简化，并且能够尽可能的保留衣服的纹理和颜色信息。目前的衣服弯曲工作主要是匹配目标人体体型特征，根据匹配的分数来预测一系列的弯曲参数，利用这些弯曲参数对衣服使用薄板样条插值进行合理的变形。但是由于姿势的变化，目标的人体的体型轮廓无从得知。在生成最终的试穿效果时，一方面希望尽可能的保留衣服的纹理和颜色特征，另一方面，希望不合理的衣服变形以及衣领边界被遗忘。

发明人发现，现有的，在线虚拟试穿方法存在以下问题：

1)姿势变换会带来输入和输出的空间不匹配，无法保证在转换姿势的同时，一方面衣服能够合理地覆盖在目标人体身上，另一方面保持除了试穿区域以外的其他区域人物特征。

2)没有任何额外的体型的输入，且目标人体的体型无从得知，穿在人体身上的衣服无法根据目标人体进行相应变形。

3)衣领部分僵硬的盖在人体身上，使得生成的试穿效果不自然、僵硬。

发明内容

为了解决上述问题，本公开的第一个方面提供一种基于姿势引导的虚拟试穿方法，其基于注意力机制的双向生成对抗网络，能够有效规范服装和人体之间的对齐和生成一致性，提高虚拟试穿的效果。

为了实现上述目的，本公开采用如下技术方案：

一种基于姿势引导的虚拟试穿方法，包括：

提取并利用目标人体的姿势关键点信息的特征和原人体体型的特征，预测目标人体的体型；

利用第一卷积神经网络提取服装的特征信息，利用第二卷积神经网络提取预测的目标人体的体型与目标人体的姿势关键点的级联特征信息，计算出服装与目标人体匹配的分数，基于该分数得到形变后的服装；

将形变后的服装特征信息及原始人体体型与目标人体姿势关键点的级联特征信息输入至基于注意力机制的双向生成对抗网络，最终输出试穿合成人像，所述试穿合成人像与原始人像可保持相同的数据分布。

为了解决上述问题，本公开的第二个方面提供一种基于姿势引导的虚拟试穿装置，其基于注意力机制的双向生成对抗网络，能够有效规范服装和人体之间的对齐和生成一致性，提高虚拟试穿的效果。

为了实现上述目的，本公开采用如下技术方案：

一种基于姿势引导的虚拟试穿装置，包括：

预测目标人体体型模块，其用于提取并利用目标人体的姿势关键点信息的特征和原人体体型的特征，预测目标人体的体型；