[发明专利]一种智能服饰匹配方法和系统

权利要求书

1.一种智能服饰匹配方法，其特征在于，包括如下步骤：

S1.向残差网络添加空间注意力模型、通道注意力模型和自注意力模型，同时，对CIFAR-100公开服饰数据集的标签进行平滑处理，使用平滑处理后的所述CIFAR-100公开服饰数据集的标签对所述残差网络进行训练，得到基于多注意力的多注意力残差网络模型；

S2.使用所述多注意力残差网络模型作为Faster-RCNN的特征提取器，得到改进的Faster-RCNN，然后基于所述多注意力残差网络模型构建特征金字塔，基于所述特征金字塔和所述改进的Faster-RCNN，建立基于所述多注意力残差网络模型的服饰检测模型；

S3.使用所述改进的Faster-RCNN检测出训练用图像中的服饰，然后基于所述CIFAR-100公开服饰数据集和所述多注意力残差网络模型，构建搭配网络，并对所述搭配网络进行训练，利用训练好的所述搭配网络对所述CIFAR-100公开服饰数据集进行特征提取，得到检测目标数据库；

S4.计算待查询服饰与所述检测目标数据库中的服饰特征向量之间的空间距离，基于所述空间距离构建待搭配集，然后利用服装搭配评分器计算所述待搭配集与所述待查询服饰的匹配度得分，根据所述匹配度得分，得到搭配推荐结果；

所述S1中，平滑处理的方法包括：

通过下列公式，将one-hot编码的所述公开服饰数据集的标签向量映射成新的标签向量；

；

其中，代表样本个数变量，N代表样本总个数；代表超参数；

所述S3中，构建所述搭配网络，并对所述搭配网络进行训练的方法包括：

检测出训练用图像中的服饰后，根据所述CIFAR-100公开服饰数据集提供的服饰属性，将所述服饰属性作为语义特征，同时使用所述多注意力残差网络模型提取所述CIFAR-100公开服饰数据集中的服装的视觉特征，将所述语义特征和所述视觉特征进行融合，得到所述搭配网络；

使用视觉语义损失和困难样本挖掘损失对所述搭配网络进行训练；

困难样本挖掘损失中，将挖掘批数据中的困难样本，用困难样本挖掘损失来训练服饰匹配对；对一组输入数据，困难样本挖掘将选择具有不相同类别的最不搭配的服饰和具有相同类别的最相似服饰来进行训练；困难样本挖掘的三元损失公式如下：

（3）；

其中M是批次大小，A和A′是批数据中不同类别的服装图像，而A是同B类别一样的服装图像，m为设置的边距值。

2.根据权利要求1所述的智能服饰匹配方法，其特征在于，

所述S2中，基于所述多注意力残差网络模型的输出，将所述多注意力残差网络模型的Layer1，Layer2，Layer3，Layer4，Pool层输出作为所述特征金字塔的层，所述多注意力残差网络模型各层输出的通道数分别为256，512，1024，2048，2048；

将所述特征金字塔的维度统一调整为256。

3.根据权利要求2所述的智能服饰匹配方法，其特征在于，

所述特征金字塔的维度统一调整为256的方法包括：

S2.1.先对进行1*1卷积核，将通道数2048调整至256；再使用卷积核为3*3，Padding为1的卷积，将卷积后的输出作为Pool层；

S2.2.(i=4,3,2,1)同样使用所述S2.1中的两种卷积核，将得到的特征图作为，再将进行2倍的上采样得到的特征图与相加，得到采样后的；

S2.3.重复所述S2.2，直到所有采样后的特征图全部生成，完成所述特征金字塔的维度统一调整。

4.根据权利要求1所述的智能服饰匹配方法，其特征在于，

所述检测目标数据库的类别包括上装、下装、衬衫、内衣、鞋子、包和配件。