[发明专利]一种基于端到端深度学习的视图地标检索方法

权利要求书

1.一种基于端到端深度学习的视图地标检索方法，其特征在于：包括以下步骤：

S1：采集关键地标图片,在进行标记类别和下采样置设图片尺寸的预处理操作后作为训练数据；

S2：将局部聚合描述符向量方法嵌入卷积型神经网络(CNN)，构成端到端的CNN网络模型，使得经过所述端到端的CNN网络模型提取的局部特征向量丧失了其位置特性，进一步解耦全局空间信息；

S3：将所述训练数据输入所述的端到端CNN网络模型以提取图像局部不变特征，通过误差函数训练优化所述端到端CNN网络模型，利用所述CNN端到端网络模型的非线性能力在聚合局部不变特征时，学习更好的聚合簇中心点，提高所述图像局部不变特征的表示能力；

S4：对用户需要鉴定的视频流进行提取关键帧图片操作后与需要鉴定的图片流后进行下采样操作设置图片尺寸，生成待鉴定地标数据集；

S5：将用户预处理后的所述待鉴定地标数据集输入到所述端到端CNN网络模型，进行局部不变特征向量的提取，并通过全连接层和数据输出层输出各地标类别计算结果；

S6：根据训练设置的每个关键地标类别阈值，判断所述测试数据集中的每份数据是否存在关键地标类别,若存在则输出图片源名和地标的提示。

2.根据权利要求1所述的一种基于端到端深度学习的视图地标检索方法，其特征在于，所述的步骤S1包含以下子步骤：

S11：以300×300的分辨率下采样重新置设训练图片尺寸I；

S22：标记每个图片中的n个关键地标名，记地标种类为n；

S33：取所述地标种类1/3作为测试集样本I1，其余2/3作为训练集样本I2。

3.根据权利要求1所述的一种基于端到端深度学习的视图地标检索方法，其特征在于，所述的步骤S2包含以下子步骤：

S21：经过CNN的5层卷积层后得到局部聚合描述符向量池化层的输入——大小为size×20×20×512的图像特征提取数据，可视为每size都有512纬的20×20个图像特征描述子x_i；

S22：遍历所有的样本点的图像特征描述子x_i，利用a(x)决定图像特征描述子x_i是否属于第k个聚类中心c_k值为1否则为0的特性；

S23:通过聚合描述符向量池化层中的soft-assignment模块生成所述的数学公式为：

其中N×{x_i}∈R^D，N表示描述子x_i的类数，D表示图像特征描述子x_i代表的纬度空间个数；K×{c_i}，K表示K个聚类中心c_k；α是一个正数，控制学习速率；

S24:将与图像特征描述子x_i计算相应的残差相乘，最后求和，这样得到了一个聚类中心的残差和，就是得到了V的一个行向量，长度d；

S25：遍历k个聚类中心，得到V矩阵的k行d列，其中得到V矩阵第j行k列元素V(j,k)，其V(j,k)的数学公式为：

S26：对V进行PCA降维归一正则化处理，然后进行L2正则化，得到图像特征提取的局部聚合描述符向量长度为k*d。

4.根据权利要求2所述的一种基于端到端深度学习的视图地标检索方法，其特征在于，所述的步骤S23：通过聚合描述符向量池化层中的soft-assignment模块生成在生成所述之前还需要通过一个卷积操作，得到卷积输出s_k，再经过soft-max分类器得到其s_k的数学公式为：

其中卷积核空间大小为1×1；k为卷积核个数；D为卷积深度；w_k为卷积权重系数项；b_k为卷积偏置项。

5.根据权利要求1所述的一种基于端到端深度学习的视图地标检索方法，其特征在于，所述的将局部聚合描述符向量方法嵌入卷积型神经网络的每个卷积层步长stride为1，填充宽度pad也为1；每次卷积层提取的特征在池化操作之前都有激活函数relu操作，并采用了dropout操作。