[发明专利]一种基于多视角视觉检测的集卡防吊起自动识别方法

权利要求书

1.一种基于多视角视觉检测的集卡防吊起自动识别方法，其特征在于，包括步骤：

步骤1，对每个集卡作业位布置了四个视角的摄像头；

步骤2，使用视觉检测模型对每一帧图像中的锁头、车轮、车牌进行目标检测；获取每一帧图像中的锁头、车轮、车牌的位置和大小；

步骤3，根据每一帧目标检测框的结果，进行目标判断和跟踪；

步骤4，基于目标跟踪获取检测框的偏移量，判断目标是否异常移动；

步骤5，综合目标判断和移动判断结果，判断是否出现异常吊起。

2.如权利要求1所述的基于多视角视觉检测的集卡防吊起自动识别方法，其特征在于，步骤1中，对每个集卡作业位布置了四个视角的摄像头，分别位于泊位的西北、东北、西南、东南方位；每个位置的摄像头均被相邻两个泊位共享。

3.如权利要求2所述的基于多视角视觉检测的集卡防吊起自动识别方法，其特征在于，步骤1中，东南方向摄像头额外进行后车牌的识别；每一帧都将记录每个识别框对应的类别。

4.如权利要求1所述的基于多视角视觉检测的集卡防吊起自动识别方法，其特征在于，步骤2，具体通过如下过程实现：

步骤2.1，目标检测与目标跟踪；

步骤2.1.1目标检测：使用基于深度学习的RetinaNet方法进行图像的目标检测，并进行深度学习的训练；深度学习网络结构：使用了特征金字塔网络(Feature Pyramid Net)结构进行特征提取；使用ResNet网络结构对原始图像进行前馈特征提取，并根据每一层网络的输出特征获得一个特征金字塔；这些特征将被送入两个子网络，分别进行物体类别识别和物体检测框的回归，最终得到带有物体类别标签的检测框；

步骤2.1.2目标跟踪：基于步骤2.1.1中的目标检测结果，对于连续帧的每一对相邻帧的同一个物体，通过计算其目标检测识别框的均方误差MSE，来判断其是否发生了移动；当MSE大于某个设定的阈值时，认为该物体发生了移动。

5.如权利要求1所述的基于多视角视觉检测的集卡防吊起自动识别方法，其特征在于，步骤5，提箱过程的“防吊起”判断：

步骤5.1直接判断

直接判断集装箱与车体是否完全分离，即判断集装箱四角的固定锁是否全部解锁；在集装箱被抬起一定高度后，若平板四角的锁头未露出，则直接判断集装箱与车体未完全分离；

通过在集装箱被吊起一定高度后，对四个方位的摄像头画面进行目标检测，判断是否出现column(锁头)；若总识别出的column数量小于4，则认为出现了集装箱与车体未完全分离的情况；最终的判断结果还需结合间接判断来做出；

步骤5.2间接判断

间接判断是指通过判断在出现吊具异常地将集装箱和车体一起吊起来地情况后，通过判断车体的异常移动，从而判断是否出现异常情况；

具体方法为：通过东南方位摄像头对车辆后牌照作目标检测和目标跟踪、通过四方位摄像头对车体轮胎做目标检测和目标跟踪，当某个物体在相邻连续帧的识别框MSE大于某个阈值以后，则认为车体发生了异常移动，从而间接判断出现了集装箱和车体未完全分离的异常情况；

步骤5.3最终判断逻辑

为了保证识别系统的准确率、误报率和漏报率，需要在逻辑上综合直接判断和间接判断。