[发明专利]基于生成对抗网络的服饰搭配生成方法

说明书

本发明提供了基于生成对抗网络的服饰搭配生成方法，该方法包括：收集在线用户的服饰物品搭配生成训练集和测试集；采用所述训练集训练生成对抗网络服饰搭配生成模型；采用所述测试集对训练完成的生成对抗网络服饰搭配生成模型进行测试；对测试效果进行验证，并给出了生成对抗网络服饰搭配生成模型的结构和训练方式。本发明提出的基于生成对抗网络的服饰搭配生成方法，在实际应用中，对于较小的数据集，其生成对抗网络服饰搭配生成模型可以解决因缺少足够多的备选数据而导致的推荐不充分的问题；对于较大的数据集，可以在数据集中搜索与生成的服饰图片最类似的服饰，以解决推荐复杂度过高的问题。

技术领域

本发明涉及服饰推荐领域，尤其涉及一种基于生成对抗网络的服饰搭配生成方法。

背景技术

随着时装产业向在线业务的快速发展，时尚相关的计算机视觉问题如今已引起越来越多的关注。其中关于时尚的服饰搭配生成方法成为热门的研究方向之一，其任务是推荐与给定服饰单品完美匹配的另一件服饰。设计时尚服饰搭配生成方法的关键是对时尚物品之间的兼容性进行建模。目前业界已经对此问题进行了诸多探索，例如距离度量学习，孪生神经网络和回归神经网络等多种方法。尽管它们在预测兼容性方面取得了成功，但在现实生活场景中，其应用仍然存在问题。值得注意的是，这些方法仅衡量已有物品之间的兼容性。当给定的数据集很小或有限时，可能没有足够的物品作为推荐备选而导致推荐不充分，例如，未考虑不同用户对不同服饰搭配的偏好差异、推荐复杂度较高，以及未考虑各种类别(如上衣，下衣，鞋子等)服饰间的搭配关系。另一方面，当数据集很大时，由于需要计算每个物品之间的兼容性，生成推荐将会面临效率问题，另外，由于大多数方法使用深度神经网络，这将耗费巨大的计算资源。

发明内容

针对上述问题，本发明使用生成对抗网络(GANs)模型来构建一种个性化服饰搭配生成方法。该方法完成以下功能：对于不同的用户，根据其风格偏好特征，分析一件其已拥有的服饰物品(例如上衣)，生成另一件与之搭配的服饰物品(例如下衣)。并将重点考虑以下技术问题：服饰物品之间配合度的学习；服饰物品搭配与用户之间配合度的学习；期望生成逼真的服饰图片。

生成对抗网络在为不同应用场合合成逼真图像方面取得了巨大成功，在本发明中将其应用于个性化服饰搭配生成领域。首先使用编码器网络将给定的服饰物品图像映射到隐向量表示，该隐向量与表征用户风格偏好的另一矢量一起输入到生成器网络以生成目标服饰物品图像，同时构建了两个判别器网络用以指导生成器网络的生成过程：一个是经典的真/假判别器，它学会分类真假服饰物品图像；另一种是兼容性判别器，它模拟时尚服饰物品之间的兼容性。

除了服饰物品之间的兼容性外，本发明还在推荐过程中综合考虑了每个用户的个人偏好问题。个性化是时尚产业的一个重要趋势。给定相同的输入查询服饰物品，不同的用户可能喜欢使用不同的服饰物品来与之组合搭配。虽然个性化推荐在电影和音乐推荐等领域普遍存在，但大多数时尚推荐仍然不是基于用户的，在探索个性化的少数研究工作中，已有发明的设置中没有提供给定查询物品，因此没有考虑物品之间的兼容性。本发明综合考虑了上述两点，可以根据用户的风格偏好合成与给定查询物品相兼容的新时尚单品。

在大多数时尚相关的图像合成任务中，合成任务只是微调时尚单品的形状。相比较而言，本发明给定的输入查询服饰物品图像与目标服饰物品图像分别从属于不同的类别(类别包括上衣，下衣等)，在保证目标服饰物品图像与给定的输入查询服饰物品图像具有相同风格的同时，彻底改变了输出服饰物品外在的形式。

本发明的一种基于生成对抗网络的服饰搭配生成方法包括如下步骤：

S1)收集总共由797名在线用户精心制作的共208814套服饰物品搭配作为数据集，对于每个用户，分别选取221和41套服饰物品搭配用于训练和测试，其中每套服饰物品搭配由两件来自不同类别的服饰单品组成，即上衣和下衣，在797名在线用户中，训练集共包括102217件上衣、76245件下衣以及176137件套装；测试集共包括26899件上衣、23642件下衣以及32677件套装；