[发明专利]基于可变形卷积与深度网络的手绘草图检索方法

权利要求书

1.基于可变形卷积与深度网络的手绘草图检索方法，其特征在于，包括以下步骤：

s1、获取待检索的手绘图像和数据库中的自然图像；

s2、通过边缘检测算法对自然图像进行边缘检测得到类手绘图，即边缘图；

s3、通过形态学操作分别对手绘草图和边缘图进行预处理；

s4、训练基于可变形卷积的深度网络，进一步包括：

s41、采用在ImageNet数据集上训练好的VGG19网络为基本网络结构，该网络共包含5个block，将每个block的第一个卷积层，即conv1_1、conv2_1、conv3_1、conv4_1、conv5_1卷积层由原来的标准卷积修改为可变形卷积，即在每层之外并行连接一个额外卷积层学习可变形卷积核的偏移量参数； 修改后的可变形卷积层与原卷积层采用尺寸相同的卷积核，即3x3卷积核；

s42、使用在ImageNet上训练得到的权重初始化神经网络，其中用于学习可变形卷积偏移量参数的卷积层权重初始化为零，损失函数采用交叉熵损失函数，使用手绘草图与自然图像边缘图训练网络直至收敛；

s5、利用训练后的深度网络分别提取手绘图像和边缘图的深度特征；

s6、对提取到的手绘草图特征和边缘图特征进行相似度计算并得到检索结果。

2.根据权利要求1所述的基于可变形卷积与深度网络的手绘草图检索方法，其特征在于，所述步骤s1中，采用的手绘图像和自然图片来自于公开数据集Flickr15k，该数据集是用于手绘草图检索的权威数据集，包含330张由非专业的绘图人员所绘制的手绘草图，以及14490张彩色自然图片。

3.根据权利要求1所述的基于可变形卷积与深度网络的手绘草图检索方法，其特征在于，所述步骤s2中，通过边缘检测算法，例如Berkeley边缘检测算法将自然彩图转换为边缘图，即类手绘图。

4.根据权利要求1所述的基于可变形卷积与深度网络的手绘草图检索方法，其特征在于，所述步骤s3中，通过图像处理中的形态学操作对手绘图与边缘图进行预处理以减少噪声干扰，进一步包括：

s31、通过膨胀操作对手绘草图进行处理，凸显线条轮廓，增强手绘草图的结构性；

s32、通过腐蚀操作对自然图像的边缘图进行处理，消除在边缘检测过程中残存在背景区域的孤立点。

5.根据权利要求1所述的基于可变形卷积与深度网络的手绘草图检索方法，其特征在于，所述步骤s5中，修改步骤s4训练好的神经网络结构并用其分别提取手绘草图与自然图像边缘图的深度特征，进一步包括：

s51、去掉s4中训练得到的深度神经网络最后的几个全连接层，即fc1，fc2以及最后的Softmax分类层，并添加一层全局最大池化层，从而得到一个新的特征提取网络；

s52、以s4中训练得到的网络权重初始化步骤s51中修改得到的特征提取网络，分别将手绘草图与自然图像边缘图输入特征提取网络，以网络最后全局最大池化层的输出作为特征向量，该特征向量为512维。

6.根据权利要求1所述的基于可变形卷积与深度网络的手绘草图检索方法，其特征在于，所述步骤s6中，对于给定手绘图像，通过计算手绘图像特征向量和自然图片特征向量之间的相关系数来表示二者之间的相似度，相关系数越大表示越相似，按相似度排序得到最终的检索结果。