[发明专利]一种基于深度学习的机坪视频语义检索方法及检索系统

权利要求书

1.一种基于深度学习的机坪视频语义检索方法，其特征在于，至少包括：

S1、构建机坪目标检测数据集；

S2、使用YOLOv5s模型对机坪目标检测数据集进行训练，生成最终目标检测模型；

S3、根据机坪作业规则对机坪视频进行预处理；

S4、使用所述目标检测模型对预处理后的机坪视频中的视觉目标进行检测，生成视觉目标的位置及标签信息；

S5、对目标检测结果进行分析，筛选出符合机坪作业规则的视觉目标的特征序列；

S6、通过时间卷积网络对特征序列进行特征提取，并使用注意力机制进行特征融合，生成特征矩阵；

S7、将特征矩阵输入神经网络训练视频语义检索模型；

S8、获取待检测的机坪视频，输入查询事件，通过预处理生成视频候选片段；

S9、将所述视频候选片段输入基于深度学习的机坪视频语义检索系统中，获得符合查询事件语义的视频片段。

2.根据权利要求1所述的基于深度学习的机坪视频语义检索方法，其特征在于，所述S1具体为：机坪目标检测数据集数据源为机位监控视频，使用OpenCV将视频拆分为图像，使用目标检测标注工具labelImg对所有图片进行标注，构建YOLO格式的目标检测数据集；图片标注种类涵盖为人、廊桥、垃圾车、飞机、加油车、平台车、加水车、行李车、航食车、牵引车。

3.根据权利要求2所述的基于深度学习的机坪视频语义检索方法，其特征在于，所述S2具体为：使用YOLOv5s模型作为预训练模型，对S1中构建的机坪目标检测数据集进行训练，训练参数设定如下：epochs＝80，batch_size＝16，生成最终的目标检测模型。

4.根据权利要求3所述的基于深度学习的机坪视频语义检索方法，其特征在于，所述S3具体为：机坪视频数据源为机位监控视频，根据机坪作业流程的先验知识，裁剪出各个机坪作业流程的视频片段，并统计各个机坪作业流程的平均时长与平均视频帧数。

5.根据权利要求4所述的基于深度学习的机坪视频语义检索方法，其特征在于，所述S4具体为：使用OpenCV将S3中裁剪所得的机坪作业片段逐帧拆分为图片，输入到S2所得的目标检测模型中，生成视觉对象的标签和坐标信息。

6.根据权利要求5所述的基于深度学习的机坪视频语义检索方法，其特征在于，所述S5具体为：从S4所得的所有视觉对象的标签和坐标信息中筛选出符合机坪作业规则的视觉对象的标签和坐标信息；设定三类特征，分别是视觉对象相对距离、视觉对象相对位置、视觉对象速度；统计每帧图片中符合机坪作业规则的视觉对象的相对像素距离，并生成相对像素距离序列；统计每帧图片中符合机坪作业规则的视觉对象的相对位置，相对位置指以飞机的像素坐标为原点构建坐标系，其余视觉对象的像素坐标与x轴正方向所构成的夹角；利用帧间差分法计算视觉对象的速度，生成视觉对象速度特征序列。

7.根据权利要求6所述的基于深度学习的机坪视频语义检索方法，其特征在于：

所述S6具体为：使用时间卷积网络对S5所得特征序列进行特征提取，并将提取到的特征向量拼接为特征矩阵，将注意力机制作用在特征矩阵上，对特征矩阵做不同的权重分配，实现特征融合；

所述S7具体为：将S6所得特征矩阵输入由全连接层构成的语义检索网络，训练语义检索模型；

所述S8具体为：获取机坪场景下任意待检测视频，输入查询事件，使用滑动窗口方法，以所输入事件对应的作业流程的平均帧数为滑动窗口大小，将长视频拆分为视频候选片段；

所述S9具体为：将视频候选片段输入S2所得目标检测模型，根据S5获取视频候选片段中符合机坪作业规则的视觉目标的位置及标签信息，并根据S6生成特征矩阵，将特征矩阵输入S7生成的视频语义检索模型，获得符合查询事件语义的视频片段。