[发明专利]一种基于端到端深度学习的视图地标检索方法

说明书

本发明公开了一种基于端到端深度学习的视图地标检索方法，包括以下步骤，S1：采集关键地标图片,进行预处理操作后作为训练数据；S2：将局部聚合描述子特征向量方法嵌入CNN，构成端到端的CNN模型；S3：将采集训练数据输入端到端CNN模型，提取图像局部不变特征，通过误差函数训练CNN模型，学习最优聚合簇中心点；S4：对待鉴定的视频流进行提取关键帧图片操作，与待鉴定的图片流后进行下采样操作，生成待鉴定地标数据集Q；S5：将Q输入所训练的CNN模型，进行局部不变特征向量提取，通过全连接层和数据输出层输出各地标类别计算结果；S6：根据训练设置的关键地标类别阈值，判断Q中每份数据是否存在关键地标类别,若存在则输出图片源名和地标的提示。

技术领域

本发明涉及互联网新媒体视图识别技术，尤其涉及一种基于端到端深度学习的视图地标检索方法。

背景技术

根据中国互联网络信息中心(China Internet Network Information Center,简称CNNIC)《中国互联网发展报告(2018)》指出，国内互联网的信息流，特别是热点或敏感事件，正逐渐摆脱以文字为载体为基础进行传递。尤其在各类新兴社交媒体(以两微一抖为主)上，仅凭消息文字，视频或图片中的文字难以快速查询，辨别，定位地点。执法机关以及各级政府机构难以迅速通过图片视频迅速定位热点事件发生地点，来进行舆情分析和管控。若能解决各级机关机构对快速，高精度和自动化的视频图像地标检索的需求，快速准确地找出照片的拍摄地点，则能提高对突发事件的决策效率，降低维护社会治安的成本。

当深度学习应用在地标实例搜索任务时，直接迁移使用CNN(卷积型神经网络)进行局部特征提取。这个过程相当于通过一个黑盒进行局部特征向量的提取，造成在训练CNN网络过程中，参数的优化对地标实例识别的影响方向是不可控的。而当经典图像特征提取方法应用在地标实例搜索任务时，其提取局部不变特征后编码的算法性能又没有深度学习的强大非线性表示能力，不能充分理解图像更深层次的信息，在工程化项目上也不能达到很好的精度效果。这些都是迫切需要解决的问题。

发明内容

本发明的目的是针对上述现有技术存在的问题不足，提供一种基于端到端深度学习的视图地标检索方法，以解决相关技术中地标实例数据特征限制于手工定制提取数据特征的表示能力，进一步解耦全局空间信息，使得特征提取的结果参与到深度学习中更能体现误差函数反向传播，实现了基于端到端深度学习的高鲁棒性高精度地标实例检索方法。

本发明的目的是通过以下技术方案来实现的：一种基于端到端深度学习的视图地标检索方法，包括以下步骤，采集关键地标图片,在进行标记类别和下采样置设图片尺寸的预处理操作后作为训练数据；将局部聚合描述符向量方法嵌入卷积型神经网络(CNN)，构成端到端的CNN网络模型，使得经过所述端到端的CNN 网络模型提取的局部特征向量丧失了其位置特性，进一步解耦全局空间信息；将所述训练数据输入所述的端到端CNN网络模型以提取图像局部不变特征，通过误差函数训练优化所述端到端CNN网络模型，利用所述CNN端到端网络模型的非线性能力在聚合局部不变特征时，学习更好的聚合簇中心点，提高所述图像局部不变特征的表示能力；对用户需要鉴定的视频流进行提取关键帧图片操作后与需要鉴定的图片流后进行下采样操作设置图片尺寸，生成待鉴定地标数据集；将用户预处理后的所述待鉴定地标数据集输入到所述端到端CNN网络模型，进行局部不变特征向量的提取，并通过全连接层和数据输出层输出各地标类别计算结果；根据训练设置的每个关键地标类别阈值，判断所述测试数据集中的每份数据是否存在关键地标类别,若存在则输出图片源名和地标的提示。

第一步中，采集关键地表训练样本的预处理方式具体是先以300×300的分辨率下采样重新置设训练图片尺寸I，再标记每个图片中的n个关键地表名。地标种类为n。其中分别取1/3作为测试集样本I1，其余2/3作为训练集样本I2。

第二步中,嵌入局部聚合描述符向量方法的卷积型神经网络提取特征向量的具体过程为：