[发明专利]基于2D图像的四阶段虚拟试衣方法及装置

说明书

本发明提供了一种基于2D图像的四阶段虚拟试衣方法及装置，包括：获取参考人图像和目标衣服图像；从参考人图像中提取人体部位语义分割图和姿势图，并融合人体部位语义分割图中的衣服区域和手臂区域得到衣服无关融合图；对目标衣服图像进行扭曲得到扭曲衣服图像；根据衣服无关融合图和扭曲衣服图像预测参考人穿着目标衣服图像中目标衣服的语义分割图；根据预测的语义分割图和姿势图生成手臂图像；根据扭曲衣服图像、预测的语义分割图及手臂图像生成试穿合成图像，完成基于2D图像的四阶段虚拟试衣，解决现有技术中存在的不吻合有伪影等严重影响图像视觉质量等问题，提升试穿效果的真实度。

技术领域

本发明涉及计算机与网络技术领域，尤指一种四阶段虚拟试衣方法及装置。

背景技术

随着计算机技术和在线购物平台的发展，在线服装购物出现了显著的增长，与传统购物相比，在线购物具有方便快捷等诸多优势，但由于不能像实体店服装购物一样可以实时试穿、检查服装后再购买等，有些人依然会为了避免反复退货选择在实体店购买服装，可见创建一个接近现实的交互式购物环境越来越重要，虚拟试衣也由此引起了广泛的关注。

早期主要是基于3D的方法实现虚拟试衣，但是3D方法需要依赖计算机图像学来构建3D模块并渲染试穿图像，且3D数据获取难度较大，需要花费大量的人力物力财力，大大限制了虚拟试穿在实际中的应用。近期有技术人员提出了基于图像的视觉试穿，试图将虚拟试穿转换为条件图像生成问题，并显示出令人鼓舞的结果。目前，国内外很多机构都在做相关研究，但更多的是关注于如何更好的生成目标衣服细节，忽视了目标服装与参考人的对应关系，使得生成的试穿合成图像存在不吻合有伪影等严重影响图像视觉质量的问题；同时忽略了其他试穿无关细节的保持，在试穿合成图像中出现模糊不清甚至被衣服遮挡等情况，严重影响试穿效果。

发明内容

本发明的目的是提供一种基于2D图像的四阶段虚拟试衣方法及装置，有效解决现有虚拟试衣中合成的试穿图像存在不吻合有伪影等严重影响图像视觉质量的问题。

本发明提供的技术方案如下：

一种基于2D图像的四阶段虚拟试衣方法，包括：

获取参考人图像和目标衣服图像；

从所述参考人图像中提取人体部位语义分割图和姿势图，并融合所述人体部位语义分割图中的衣服区域和手臂区域得到衣服无关融合图；

对目标衣服图像进行扭曲得到扭曲衣服图像；

根据所述衣服无关融合图和扭曲衣服图像预测参考人穿着目标衣服图像中目标衣服的语义分割图；

根据所述预测的语义分割图和姿势图生成手臂图像；

根据所述扭曲衣服图像、预测的语义分割图及手臂图像生成试穿合成图像，完成基于2D图像的四阶段虚拟试衣。

本发明还提供了一种基于2D图像的四阶段虚拟试衣装置，包括：

图像获取模块，用于获取参考人图像和目标衣服图像；

衣服无关融合图生成模块，用于从所述参考人图像中提取人体部位语义分割图和姿势图，并融合所述人体部位语义分割图中的衣服区域和手臂区域得到衣服无关融合图；

衣服扭曲模块，用于对目标衣服图像进行扭曲得到扭曲衣服图像；

语义分割图生成模块，用于根据所述衣服无关融合图和扭曲衣服图像预测参考人穿着目标衣服图像中目标衣服的语义分割图；

手臂图像生成模块，用于根据所述预测的语义分割图和姿势图生成手臂图像；

试穿合成模块，用于根据所述扭曲衣服图像、预测的语义分割图及手臂图像生成试穿合成图像，完成基于2D图像的四阶段虚拟试衣。