[发明专利]服饰搭配推荐方法和装置以及用于该装置的训练方法

说明书

本公开的实施例提供一种服饰搭配推荐方法和装置以及用于该装置的训练方法。该服饰搭配推荐方法包括：获取多个给定服饰单品的图像和待搭配的多个候选服饰单品集的图像，该多个候选服饰单品集中的每个候选服饰单品集包括一个或多个候选服饰单品；基于该多个给定服饰单品的图像生成与该多个候选服饰单品集同类型的目标服饰单品集的图像；分别计算该多个候选服饰单品集中的每个候选服饰单品集的图像与该多个给定服饰单品的图像以及目标服饰单品集的图像的相似度；以及根据所计算的相似度来推荐该多个候选服饰单品集中的至少一个候选服饰单品集。

技术领域

本公开的实施例涉及计算机技术领域，具体地，涉及服饰搭配推荐方法和装置以及用于该装置的训练方法。

背景技术

近年来，随着电商行业的高速发展，用户在线上购买服饰(上衣、下装、鞋、帽、袜子、手套、围巾、领带、配饰、包、伞等)的行为变得日渐流行，在线销售的服饰的数量也呈爆炸式的增长。用户可以通过线上商铺展示的服饰图像来从种类众多的海量服饰中挑选相互搭配的服饰以便形成展示个人气质的时尚搭配。在购买服饰的时候，用户可能期望一次购物就可以买到相互搭配的服饰，以解决穿搭需求。但是，不是每个人都擅长根据服饰的图像来进行服饰搭配。因此，有些用户可能会因在线上购买到不搭配的服饰而退货。这不但增加了用户购物的时间成本和经济成本，同样也加重了商家的经营成本。如果有时尚搭配推荐算法能够智能地判断用户选择的服饰是否具有搭配关系并进行针对性的服饰搭配推荐，则可以帮助用户更愉快地在线上购物。

随着时尚行业和人工智能领域共同的高速发展，许多科研人员针对时尚搭配算法展开了大量的研究。时尚搭配学习领域涉及了人工智能技术的方方面面，包含了计算机视觉、自然语言处理、推荐算法等技术。随着人工智能研究的深入，越来越多的技术被应用到时尚搭配学习领域。

发明内容

本文中描述的实施例提供了一种服饰搭配推荐方法和装置以及用于该装置的训练方法、电子设备以及存储有计算机程序的计算机可读存储介质。

根据本公开的第一方面，提供了一种服饰搭配推荐方法。该服饰搭配推荐方法包括：获取多个给定服饰单品的图像和待搭配的多个候选服饰单品集的图像，该多个候选服饰单品集中的每个候选服饰单品集包括一个或多个候选服饰单品；基于该多个给定服饰单品的图像生成与该多个候选服饰单品集同类型的目标服饰单品集的图像；分别计算该多个候选服饰单品集中的每个候选服饰单品集的图像与该多个给定服饰单品的图像以及目标服饰单品集的图像的相似度；以及根据所计算的相似度来推荐该多个候选服饰单品集中的至少一个候选服饰单品集。

在本公开的一些实施例中，基于该多个给定服饰单品的图像生成与该多个候选服饰单品集同类型的目标服饰单品集的图像包括：通过卷积神经网络获取该多个给定服饰单品的图像在卷积神经网络的多个层中的视觉特征；基于自注意力机制融合所获取的视觉特征以得到融合后的特征；通过变分自编码器基于融合后的特征生成融合特征；以及通过转置卷积神经网络基于融合特征生成目标服饰单品集的图像。其中，转置卷积神经网络的层数与卷积神经网络的层数相同。

在本公开的一些实施例中，分别计算该多个候选服饰单品集中的每个候选服饰单品集的图像与该多个给定服饰单品的图像以及目标服饰单品集的图像的相似度包括针对每个候选服饰单品集：通过卷积神经网络获取该候选服饰单品集的图像在卷积神经网络的多个层中的候选视觉特征；以及基于候选视觉特征，该多个给定服饰单品的图像在卷积神经网络的多个层中的视觉特征，以及目标服饰单品集的图像在转置卷积神经网络的多个层中的层级特征来计算该候选服饰单品集的图像与该多个给定服饰单品的图像以及目标服饰单品集的图像的相似度。

在本公开的一些实施例中，每个候选服饰单品集的图像与该多个给定服饰单品的图像以及目标服饰单品集的图像的相似度被计算为：