[发明专利]一种基于视频动作识别的民用机场地面保障状态识别方法

权利要求书

1.一种基于视频动作识别的民用机场地面保障状态识别方法，其特征在于，包括：

步骤A.监测机场停机坪区域，获取停机坪区域的视频图像数据，从所述视频图像数据中检测特定目标；

步骤B.以检测到特定目标之刻为起点，根据所述特定目标的相应先验时长经滑窗选取视频段；

步骤C.将所述视频段作为动作识别网络的输入，获得所述特定目标的动作在所述视频段内的起始帧和结束帧，将起始帧和结束帧转换为起始时间和终止时间进行显示。

2.如权利要求1所述的方法，其特征在于：

所述动作检测网络为动作识别卷积神经网络，其输入视频图像，输出为视频中包含的动作得分和动作的起始帧和结束帧，通过为录制视频中每个动作发生的时间段设置标签，以带标签视频为训练数据，训练后可获得能够识别输入视频段内发生的不同动作，并输出动作起始帧和结束帧的所述动作识别卷积神经网络；

所述步骤C中，当第一次出现所述特定目标的动作得分高于设定阈值的视频段时，采纳该视频段输出的动作起始帧作为所述起始帧，当得分由高于设定阈值转至低于设定阈值时，采纳上一视频段输入动作检测网络得到的结束帧作为所述结束帧。

3.如权利要求1所述的方法，其特征在于：

所述动作检测网络为视频动作识别网络，其输入为固定长度的视频图像，输出为视频图像的动作得分；

所述步骤C中，将动作得分结合所述滑窗从而获得视频帧-动作得分曲线，以视频帧-动作得分曲线与设定阈值D的前后交点分别作为所述起始帧和所述结束帧。

4.如权利要求2或3所述的方法，其特征在于：根据视频图像中动作与目标动作的相似度，计算出所述动作得分。

5.如权利要求1所述的方法，其特征在于：

所述特定目标包括飞机、飞机头、飞机车轮、客梯车、传送带车、货舱门、货车、升降车、餐车、拖头车、加油车、牵引车中的一者或多者；

所述民用机场地面保障状态识别方法包括航班入机位状态判断、航班上轮档状态判断、客梯车对接状态判断、客舱门/货舱门开启状态判断、加油车对接状态判断、加油车离开状态判断、餐车/货车/垃圾车配送状态判断、关客舱/货舱门状态识别、牵引车对接状态判断、航班撤轮档状态判断、航班推出状态判断，其中，航班上轮档状态判断、客梯车对接状态判断、加油车对接状态判断、餐车/货车/垃圾车配送状态判断、牵引车对接状态判断于航班入机位状态判断之后执行且以所述步骤A、步骤B、步骤C实施。

6.如权利要求5所述的方法，其特征在于，所述加油车离开状态判断于加油车对接状态判断之后执行，其方法包括：当目标检测网络检测到加油车发生移动时，记录当前时间tjy1，根据加油车离开的先验时长滑窗选取视频段，将滑窗获得的视频作为动作识别网络的输入，得到加油车离开的起始时间和终止时间。

7.如权利要求5所述的方法，其特征在于，

所述客舱门/货舱门开启状态判断的方法包括：当目标检测网络检测到客舱门/货舱门时，则判断客舱门/货舱门打开；且

所述关客舱/货舱门状态识别在客舱门/货舱门开启状态判断之后执行，其包括：当目标检测网络未检测到客舱门/货舱门时，判断客舱门/货舱门关闭。

8.如权利要求7所述的方法，其特征在于，

所述航班撤轮档状态判断于关客舱/货舱门状态识别之后执行，其方法包括：检测到航班客舱门以及货舱门关闭后，记录当前时间tsc1，根据航班撤轮档的先验时长，进行滑窗选取视频段，将其输入动作识别网络，获得撤轮档这个动作的起始时间和终止时间。

9.如权利要求5所述的方法，其特征在于，

所述航班入机位状态判断的方法包括：监控机场停机坪区域，当目标检测网络检测到出现飞机后，若检测到飞机边框的中心点在设定时长内没有发生变化，则判定飞机入机位完成。

10.如权利要求5所述的方法，其特征在于，所述民用机场地面保障状态识别方法还包括在客梯车对接状态判断之后执行的人员身份的识别，以及乘客上下客梯车方向的判断；

所述人员身份的识别的方法包括根据客梯车上行人的服装差异识别行人的身份，标记其中的乘客；

所述人员上下客梯车方向的判断包括使用目标跟踪网络对客梯车区域的乘客对象进行多人跟踪，根据乘客的轨迹路线判断乘客上下客梯车的方向。