[发明专利]一种结合目标检测与双目视觉的闸机通行行为识别与控制方法

权利要求书

1.一种结合目标检测与双目视觉的闸机通行行为识别与控制方法，其特征在于，包括以下步骤:

步骤1:在闸机顶部安装双目摄像头；

步骤2:制作标定板并利用双目摄像头多角度采集标定板图片，利用matlab标定工具箱对左右相机采集到的图片分别进行单目标定获得左右相机的内参数矩阵；

步骤3:对步骤2中左右摄像头分别经过单目标定获得的内参数矩阵结果，利用matlab标定工具箱进行立体校准和对齐，获得相机的外参数矩阵；

步骤4：利用立体匹配算法对摄像头拍摄到的左右图像进行匹配，生成对应的视差图；

步骤5:采集俯视角度的多张包含行人和行李的目标图片，并标注制作成数据集，使用目标检测模型进行训练，利用训练好的目标检测模型对摄像头所拍摄区域内进行目标检测，获取区域内所有的行人和行李目标位置信息；

步骤6:将检测到的目标中心点坐标传入视差图中获取对应的视差信息，并利用视差信息与距离的转换公式将视差信息转换为目标离摄像头的距离，将摄像头的高度减去目标离摄像头的距离，得到目标的实际高度；

步骤7：连续多帧获取使用步骤5所得到的目标位置信息和步骤6所得到的目标高度信息，对每个目标的位置信息、目标与目标之间的位置关系以及行人的身高信息进行分析，判别行人通行行为；

步骤8：将通行行为判定的结果发送给闸机，闸机产生相应的控制，对于正常通行行为，通过实时的行人与物体的坐标位置，防止夹到行人或行李，对于异常通行行为，播放相应的声光告警信息。

2.如权利要求1所述的结合目标检测与双目视觉的闸机通行行为识别与控制的方法，其特征在于，步骤1中，要求安装的双目摄像头必须正对闸机，并且双目摄像头之间相互平行，处于同一水平线上。

3.如权利要求1所述的结合目标检测与双目视觉的闸机通行行为识别与控制的方法，其特征在于，步骤2中，使用的标定板为黑白格棋盘，双目摄像头多角度采集标定板图片时要求双目摄像头固定不动，且采集完图片后不能随意转动摄像头。

4.如权利要求1所述的结合目标检测与双目视觉的闸机通行行为识别与控制的方法，其特征在于，步骤4中，使用的立体匹配算法为BM局部立体匹配算法。

5.如权利要求1所述的结合目标检测与双目视觉的闸机通行行为识别与控制的方法，其特征在于，步骤5中，训练使用的深度学习框架为caffe，使用的目标检测模型是在mobilenet-yolov3目标检测模型的基础上进行修改，修改如下：

将最后的输出分支从3个分别为(52×52,26×26,13×13)feature map输出,减小到只剩13×13大小的feature map输出，并且在每层卷积和可分离卷积之后都加入BN层和Scale层，对于修改后的目标检测模型的网络结构，网络的输入先经过一层卷积+BN层+Scale层+ReLu层的结构，然后经过14层深度可分离卷积+BN层+Scale层+ReLu层结构，最后连接一层全卷积层得到网络输出。

6.如权利要求1所述的结合目标检测与双目视觉的闸机通行行为识别与控制的方法，其特征在于，步骤6中，将视差信息转换为目标与摄像头的距离，计算公式为：

depth＝(f*baseline)/disp

其中，depth表示距离，f表示归一化的焦距，baseline是两个相机光心之间的距离，称作基线距离，由相机安装的物理位置决定，disp是视差图中对应坐标点的像素值即视差信息。

7.如权利要求1所述的结合目标检测与双目视觉的闸机通行行为识别与控制的方法，其特征在于，步骤7中的行人通行行为判别逻辑如表1所示：

表1 行人通行行为判别逻辑表

表1中判定方法双目测距模块是通过将检测到的行人位置的中心点即行人头部位置坐标传入对应的视差图中，得到对应的位置的视差信息，根据视差信息与距离的转换公式得到行人头顶离摄像头的距离，再利用摄像头的安装高度减去行人头顶离摄像头的距离即得到行人的身高，通过身高来区分行人是成人还是儿童。