[发明专利]一种从视频中自动识别地标的方法

说明书

本发明公开了一种从视频中自动识别地标的方法，从视频中获取帧信息，对图像帧进行地标二分类，根据初筛结果，对分类为地标的图像进行度量学习与地标库进行比较确定地标种类，若视频包含字幕或语音信息，利用OCR和语音识别提取出文本信息，然后对文本信息进行实体提取利用文本的实体识别结果对地标种类进行二次确定，确定地标后，对未能确定种类的地标进行筛查根据是否为新地标对地标库进行更新，至此完成整套地标识别和更新的全过程。本发明对于提取不同类型的视频都有很好的效果，不需要进行人工标注，便可以实现地标识别工作，同时具有自动更新地标库的功能，在节约人工成本的同时也实现了地标识别的可持续更新的能力。

技术领域

本发明涉及一种视频图像处理方法，具体涉及一种从视频中自动识别地标的方法。

背景技术

随着电视新闻类节目、电视剧、电影、综艺节目、短视频的快速发展，视频类信息获取逐渐替代了传统的纸质类信息获取，成为了人们获取信息的第一途径。但是，由于从视频中获取信息具有广泛性和繁杂性，因此，对特定信息的抽取成为人们研究的重点。其中，如何对视频中的地标进行识别，对于信息抽取和信息获取而言具有重要的研究价值。利用传统的人工识别方法或简单的图像处理方法对视频中的地标进行识别往往费时费力，且不能得到好的识别效果。

有鉴于此，特提出本申请。

发明内容

本发明所要解决的技术问题是：现有的人工识别方法或简单的图像处理方法对视频中的地标进行识别往往费时费力，且不能得到好的识别效果，目的在于提供一种从视频中自动识别地标的方法，解决现有从视频中获取地标的方法的不足。

本发明通过下述技术方案实现：

一种从视频中自动识别地标的方法，包括以下步骤：

步骤1：获取多张不同类别的地标图片，得到标准地标图片样本；根据所述标准地标图片样本构建地标分类的自建数据集，所述自建数据集中包括地标图片样本和非地标图片样本；

步骤2：利用ReXnet网络对所述自建数据集进行分类训练，得到图片分类模型，所述ReXnet网络为针对Mobilenet网络结构进行改进后的ReXnet网络；

步骤3：收集待识别视频，对所述待识别视频按照每隔15帧解码一次的方式进行解码，得到多张待识别图片；利用所述图片分类模型对所述多张待识别图片进行分类预测，得到多张地标预测图片和多张非地标预测图片；

步骤4：将所述标准地标图片样本存入地标库，利用基于resnet50基础网络的度量学习模型和triplet_loss函数模型对所述标准地标图片样本进行训练，得到特征匹配初始模型，并对所述特征匹配初始模型进行超参数调整，得到特征匹配模型；

步骤5：利用所述特征匹配模型对所述多张地标预测图片进行特征提取，得到地标预测特征向量集，利用所述特征匹配模型对所述标准地标图片样本进行特征提取，得到标准地标特征向量集；

步骤6：针对每一张地标预测图片，利用地标预测图片对应的地标预测特征向量和所述标准地标特征向量集，获取地标预测图片与所有标准地标图片的相似度阈值，得到相似度阈值数据集；

步骤7：根据所述相似度阈值数据集确定每一张地标预测图片中地标的类别，得到地标识别结果。

与现有技术相比，本发明利用图像分类来对地标进行一次初筛工作，根据初筛结果与地标库中的标准地标进行特定类别的地标识别工作，这样做大大节约了地标识别的时间，节约了人力成本和时间成本，使得整个地标识别的准确性得到提高。

作为对本发明的进一步描述，构建地标分类的自建数据集的方法为：

步骤1.1：收集多个不同节目类型的，包含有所述标准地标图片样本中所有类别的地标的样例视频，形成视频样本；