[发明专利]一种基于卷积神经网络的细粒度服装的属性识别方法

说明书

本发明涉及一种基于卷积神经网络的细粒度服装的属性识别方法。本发明首先通过Faster‑RCNN和YOLO神经网络，对图像中的特征区域定位，针对袖子、裤子长度和领口类型分类采取相应的扩大特征区域方法，再对特征区域进行图像处理；处理后输进ResNet网络模型和InceptionV4网络模型，进行神经网络的训练；并将输出结果进行加权融合。训练好的神经网络模型可用于服装属性识别。本发明提取的特征区域实现较高的分割准确性，提高了卷积神经网络进行深度学习图像特征的效率和准确性，并将两个网络模型的输出结果进行加权融合，减少了过拟合现象。

技术领域

本发明属于计算机视觉识别技术领域，尤其是涉及一种基于卷积神经网络的细粒度服装的属性识别方法。

背景技术

服装图像作为细粒度图像的一种，在电子商务领域十分常见，而现有的视觉购物搜索引擎通常提取诸如颜色、形状、纹理等全局特征来比较图像。它们对于干净背景的图像获得了较好的搜索效果。然而，很大一部分的服装图像是自然场景的图像，具有杂乱的背景。为了提升商品的吸引力，并且呈现服装的实际穿着效果，电子商务店主请时尚模特穿着所售服装，来拍摄真实效果的图像。这些图像一般是在户外拍摄，背景较为杂乱。另一方面，用户上载的查询图像同样是嗓声较多的图像，尤其是通过手机拍摄的照片。这些复杂且杂乱的背景，使得基于视觉的服装图像的细粒度分类成为一项具有挑战性的难题。本发明结合服装图的特征区域分布特点，准确提取特征区域，并将处理过的图片输入卷积神经网络，从而提高分类的准确性和效率。

发明内容

本发明的目的就是为了解决上述服装图片的细粒度属性准确分类问题，提供一种基于卷积神经网络的细粒度服装的属性识别方法。本发明考虑了服装特征区域对于分类的重要性，对于需要进行袖子长度，裤子长度，领口类型分类的服装图片，有效地提取出图像特征区域，并通过图像割补的处理方法，防止特征信息的丢失，使服装图片的属性分类结果更加准确和高效。

为达到上述目的，本发明提供如下技术方案：

一种基于卷积神经网络的细粒度服装的属性识别方法，使用Faster-RCNN和YOLO网络进行特征区域识别和图像处理方法将特征区域扩大，令提取的特征区域实现较高的分割准确性，提高了卷积神经网络进行深度学习图像特征的效率和准确性，并且使用两个网络模型进行训练，将两个网络模型的输出结果进行加权融合，减少了过拟合现象。

所述的过程具体步骤如下：

步骤(1)使用Faster-RCNN和YOLO神经网络对图像进行特征性区域判别，结合两种判别结果，分割出初步的特征区域图片。

步骤(2)对初步的特征区域图片做进一步的处理，由于袖长、裤长和领口类型的分类的特征区域分布略有不同，因此根据不同的分类需求，对特征区域进行扩大，防止特征信息丢失。

步骤(3)将图片处理成宽高相等的图片，根据袖长、裤长和领口类型这三种不同的分类任务，采用不同的填补方法，将细长和扁平的图片调整成宽高相等的图片。

步骤(4)构建两个深度卷积神经网络，对网络进行预训练，然后将经过图像处理的服装图输入到卷积神经网络中，利用随机梯度下降算法进行权重矩阵和偏移量的调整。

步骤(5)将得到的训练好的各层中的权重参数矩阵和偏置值，对应地赋值给两个神经网络中的各个层，再对各自的Softmax层进行调整，把两个网络结构的输出结果进行融合，减少过拟合现象，使结果更加准确。

所述步骤(1)提取初步的特征区域方法如下：

图像原始图像大小用两个坐标进行表示，分别是左上角顶点坐标(0，0)和右下角顶点坐标(width,height)。初步的特征区域的左上角坐标定义(X_A,Y_B),右下角坐标定义为(X_C,Y_D)。