[发明专利]一种基于深度学习的机坪视频语义检索方法及检索系统

说明书

本发明涉及一种基于深度学习的机坪视频语义检索方法及检索系统，属于视频信息处理技术领域，包括S1、构建机坪目标检测数据集；S2、对机坪目标检测数据集进行训练，生成最终目标检测模型；S3、对机坪视频进行预处理；S4、对预处理后的机坪视频中的视觉目标进行检测，生成视觉目标的位置及标签信息；S5、对目标检测结果进行分析，筛选出符合机坪作业规则的视觉目标的特征序列；S6、对特征序列进行特征提取，并使用注意力机制进行特征融合，生成特征矩阵；S7、将特征矩阵输入神经网络训练视频语义检索模型；S8、获取待检测的机坪视频，输入查询事件，生成视频候选片段；S9、将视频候选片段输入，获得符合查询事件语义的视频片段。

技术领域

本发明属于视频信息处理技术领域，具体涉及一种基于深度学习的机坪视频语义检索方法及检索系统。

背景技术

随着互联网的发展，视频逐渐成为继文字和图文之后的主要信息载体。在社会公共安全领域，视频监控系统成为维护社会治安，加强社会管理的一个重要组成部分。然而视频录像存在存储数据量大，存储时间长等特点，通过录像寻找需要的视频片段，意味着搜查大量的人工索引和进行冗长的线性筛选，耗费大量人力、物力以及时间，效率极其低下，增加了不必要的成本。

随着技术的进步，视频检索技术应运而生，如今正在蓬勃发展并广泛应用在数字电视、远程教育、远程医疗和安防等领域，成为了大数据时代下的新贵。而在民航领域视频检索系统尚未起步，机坪视频的检索研究仍然空白。机坪管理复杂，需要7×24小时全天候监控机坪内作业人员和车辆记录其违规作业行为、识别车辆行驶路径、拖挂车数量、锥桶、平板车等摆放、人员横穿机位等违规情况、统计历史违章数据、纠正处置违章情况等多项管理，耗费大量人力。因此研发一个以视频搜索为核心的搜索系统的任务迫在眉睫。

发明内容

本发明为解决公知技术中存在的技术问题而提供一种基于深度学习的机坪视频语义检索方法及检索系统；利用计算机数据处理技术，将原始监控视频导入检索系统，选择查询事件，就能检索出相应的视频片段。

本发明的第一目的是提供一种基于深度学习的机坪视频语义检索方法，至少包括：

步骤1，构建机坪目标检测数据集；

步骤2，使用YOLOv5s模型对机坪目标检测数据集进行训练，生成最终目标检测模型；

步骤3，根据机坪作业规则对机坪视频进行预处理；

步骤4，使用S2所得目标检测模型对预处理后的机坪视频中的视觉目标进行检测，生成视觉目标的位置及标签信息；

步骤5，对目标检测结果进行分析，筛选出符合机坪作业规则的视觉目标的特征序列；

步骤6，通过时间卷积网络对特征序列进行特征提取，并使用注意力机制进行特征融合，生成特征矩阵；

步骤7，将特征矩阵输入神经网络训练视频语义检索模型；

步骤8，获取待检测的机坪视频，输入查询事件，通过预处理生成视频候选片段；

步骤9，将S8所得视频候选片段输入基于深度学习的机坪视频语义检索系统中，获得符合查询事件语义的视频片段。

进一步：步骤1中，机坪目标检测数据集数据源为贵阳龙洞堡国际机场209机位监控视频，使用OpenCV将视频拆逐帧拆分为图像，使用目标检测标注工具labelImg对所有图像进行标注，构建YOLO格式的目标检测数据集。图像标注种类涵盖10类，分别为人、廊桥、垃圾车、飞机、加油车、平台车、加水车、行李车、航食车、牵引车。

进一步：步骤2中，使用YOLOv5s模型作为预训练模型，对S1中构建的机坪目标检测数据集进行再次训练，训练参数设定如下：epochs＝80，batch_size＝16，生成最终的目标检测模型。