[发明专利]一种基于卷积神经网络的细粒度服装的属性识别方法

权利要求书

1.一种基于卷积神经网络的细粒度服装的属性识别方法，其特征在于包括如下步骤：

步骤(1)使用Faster-RCNN和YOLO神经网络对图像进行特征性区域判别，结合两种判别结果，分割出初步的特征区域图片；

步骤(2)对初步的特征区域图片做进一步的处理，由于袖长、裤长和领口类型的分类的特征区域分布略有不同，因此根据不同的分类需求，对特征区域进行扩大，防止特征信息丢失；

步骤(3)将图片处理成宽高相等的图片，根据袖长、裤长和领口类型这三种不同的分类任务，采用不同的填补方法，将细长和扁平的图片调整成宽高相等的图片；

步骤(4)构建两个深度卷积神经网络，对网络进行预训练，然后将经过图像处理的服装图输入到卷积神经网络中，利用随机梯度下降算法进行权重矩阵和偏移量的调整；

步骤(5)将得到的训练好的各层中的权重矩阵和偏置值，对应地赋值给两个神经网络中的各个层，再对各自的Softmax层进行调整，把两个网络结构的输出结果进行融合，减少过拟合现象，使结果更加准确。

2.根据权利要求1所述的一种基于卷积神经网络的细粒度服装的属性识别方法，其特征在于步骤(1)分割出初步的特征区域图片的方法如下：

1-1.将原始图像大小用两个坐标进行表示，分别是左上角顶点坐标(0，0)和右下角顶点坐标(width,height)；初步的特征区域图片的左上角坐标定义(X_A，Y_B)，右下角坐标定义为(X_C，Y_D)；

1-2.通过深度学习方法中的通用目标检测框架Faster-RCNN和YOLO神经网络生成候选特征区域，使用Faster-RCNN和YOLO神经网络能够识别出图像中的主要特征区域，通过坐标的方式能够获取特征区域左上角和右下角的顶点坐标，通过Faster-RCNN神经网络获取的左上角坐标定义为(X₁，Y₁)，右下角坐标定义为(X₂，Y₂)；通过YOLO神经网络获取的左上角坐标定义为(X₃，Y₃)，右下角坐标定义为(X₄,Y₄)；

1-3.每张图像获取四个坐标后，通过如下四种情况得到初步的特征区域的左上角坐标( X_A，Y_B)，右下角坐标(X_C，Y_D)：

①两种目标检测网络均把原始图像作为判别区域，分割出初步的特征区域图片，即(X₁，Y₁)＝(0，0)，(X₂，Y₂)＝(width，height)，(X₃，Y₃)＝(0，0)，(X₄，Y₄)＝(width，height)；

②Faster-RCNN检测出小于原始图像的判别区域，YOLO把原始图像作为判别区域，分割出的初步的特征区域图片，即(X₁，Y₁)＝(x₁，y₁)，(X₂，Y₂)＝(x₂，y₂)，(X₃,Y₃)＝(0，0)，(X₄，Y₄)＝(width，height)；

③Faster-RCNN把原始图像作为判别区域，YOLO检测出小于原始图像的判别区域，分割出的初步的特征区域图片，即(X₁，Y₁)＝(0，0)，(X₂，Y₂)＝(width，height)，(X₃，Y₃)＝(x₃，y₃)，(X₄，Y₄)＝(x₄，y₄)；

④两种目标检测网络均检测出小于原始图像的判别区域，分割出的初步的特征区域图片，即(X₁，Y₁)＝(x₁，y₁)，(X₂，Y₂)＝(x₂，y₂)，(X₃，Y₃)＝(x₃，y₃)，(X₄，Y₄)＝(x₄，y₄)；

针对情况①：把原始图像作为初步的特征区域，即(X_A，Y_B)＝(0，0)，(X_C，Y_D)＝(width，height)；

针对情况②：把Faster-RCNN检测区域作为初步的特征区域，即(X_A，Y_B)＝(x₁，y₁)，(X_C，Y_D)＝(x₂，y₂)；

针对情况③：把YOLO检测区域作为初步的特征区域，即(X_A，Y_B)＝(x₃，y₃)，(X_C，Y_D)＝(x₄，y₄)；

针对情况④：结合两种检测区域，为了尽可能减少特征信息丢失，在取检测区域坐标遵从尽可能最大获取信息原则，(X_A，Y_B)＝(min(x₁，x₃)，min(y₁，y₃))，(X_C，Y_D)＝(max(x₂，x₄)，max(y₂，y₄))。