[发明专利]一种面向服装图像检索的图像特征抽取方法

摘要

本发明涉及一种面向服装图像检索的图像特征抽取方法，属于图像检索技术领域。该方法首先创新性地设计了基于关键点的关键区域生成网络以及用于融合服装图像全局特征和关键区域特征的关键区域融合网络；然后将关键区域生成网络和关键区域融合网络加入到开源的深度学习模型VGG16中得到面向服装图像检索的深度学习模型；再然后采用交叉训练关键区域生成网络和关键区域融合网络的方式使模型得到收敛；最后提取本发明提出的深度学习模型的高层特征用于服装图像检索任务。本发明提出的服装图像深度特征抽取方法能够有效地提高服装图像检索的准确率，而且方法较为简单、易于实现。

主权项

1.一种面向服装图像检索的图像特征抽取方法，其特征在于包含以下步骤：(1)设计融合关键区域特征的深度学习网络模型；该网络的输入包含图像数据、图像关键点位置集合和图像属性信息集合，分别记为B、P、A；B表示图像的原始数据，可以看做三维矩阵，三维分别表示图像通道数、图像高度和图像宽度；P＝{P1，...，Pi，...，Pm}表示图像关键点坐标集合，其中m表示关键点个数，Pi＝(xi，yi)表示第i个关键点的位置，其中xi，yi分别表示关键点的横坐标和纵坐标；A表示图像对应的属性标签，包括颜色、类型、领型等，A＝{A1，...，Ai，...，An}，其中n表示属性个数，Ai表示第i个属性的取值；图像数据B经过深度卷积网络VGG16处理后得到多个同宽高的特征图，记作fbase；然后将fbase输入关键区域生成网络，得到关键区域集合，记作R＝{R1，...，Ri，...，Rt}，其中t表示关键区域的个数，Ri＝(xi1，yi1，xi2，yi2}表示第i个关键区域，xi1、yi1和xi2、yi2分别表示第i个关键区域左上角的横纵坐标和右下角的横纵坐标；再然后将上述的fbase和R一同输入关键区域融合网络，输出局部特征和全局特征的融合特征，记作fcomb；最后将fcomb连接到多个Softmax属性分类器；(2)准备步骤(1)所述深度学习模型的训练数据集、验证数据集和测试数据集；根据步骤(1)定义的图像数据B、图像关键点位置集合P和图像属性信息集合A准备模型训练的数据集X，X为三元组(B、P、A)的集合；将准备好的数据集按照6:2:2的比例分成训练数据集、验证数据集和测试数据集，分别记为Xtrain、Xval和Xtest；(3)训练关键区域生成网络；设置步骤(1)中深度学习模型的关键区域融合网络和属性预测任务的参数学习率系数(Learning rate multiplier)为0，VGG16的参数学习率系数为较小值(0.1)，关键区域生成网络的参数学习率系数为较大值(1.0)；采用ImageNet训练得到的VGG16进行模型参数初始化，在步骤(2)所述的训练数据集Xtrain上采用小批次随机梯度下降(MSGD：Mini‑batch Stochastic Gradient Descent)优化算法进行参数训练学习，使得VGG16和关键区域生成网络的参数得到有效更新，从而提高关键点位置回归预测的准确率；训练过程中，初始基学习率(base learning rate)为10e‑2，当验证数据集Xval的关键点回归损失函数值达到较低值且趋向平稳时依次选择基学习率为{10e‑3，10e‑4，10e‑5}继续训练，直到在验证数据集Xval上关键点回归损失函数值无法继续下降时停止训练；(4)训练关键区域融合网络和属性预测任务；固定步骤(1)中深度学习模型的关键区域生成网络的参数学习率系数为0，设置VGG16、关键区域融合网络和属性预测任务的参数学习率系数分别为0.01、0.1、1.0；采用步骤(3)训练得到的关键区域生成网络的参数进行初始化，在步骤(2)的Xtrain数据集上采用MSGD优化算法进行属性预测任务训练；训练过程中通过观察在验证数据集Xval上损失函数值的变化情况来调整基学习率和各层参数学习率系数，基学习率的选值过程依次为10e‑2、10e‑3、10e‑4、10e‑5，各层参数学习率系数根据所在层次的高低依次设定为0.01、0.1、1.0，即低层的参数在相似数据集上训练得到的值差别都不大，因此将低层的参数学习率系数设为0.01，而高层是任务紧密相关的参数，因此参数学习率系数设置为1.0；(5)关键区域生成网络第二次训练；由于在步骤(4)训练过程中改变了步骤(1)的深度学习模型中VGG16的参数，使得关键区域生成的效果下降，因此需要微调关键区域生成网络的参数；为了不影响关键区域融合网络和属性预测任务的效果，第二次训练关键区域生成模型的过程中不改变VGG16的参数，只调整关键区域生成网络的参数，即设置关键区域生成网络之外的所有层的参数学习率系数为0，其他的训练过程和步骤(3)一致；(6)关键区域融合网络第二次训练；由于步骤(4)训练过程中关键区域生成网络的效果变差了，因此在步骤(5)之后需要再次训练关键区域融合网络和属性预测任务；此时，固定VGG16和关键区域生成网络的参数学习率系数为0，只调整关键区域融合网络和属性预测任务的参数，直到损失函数值在步骤(2)的验证数据集Xval上趋于稳定时停止训练；除了参数学习率系数设置不同外，其他的训练过程和步骤(4)一致；(7)图像特征抽取；将图像输入到步骤(6)训练完成的深度学习模型中，进行深度网络的前向传播，输出步骤(1)所述的fcomb，得到面向服装图像检索的图像特征表示。