[发明专利]一种结合目标检测与双目视觉的闸机通行行为识别与控制方法

说明书

本发明公开了一种结合目标检测与双目视觉的闸机通行行为识别与控制方法，对摄像头拍摄到的左右图像进行匹配，生成对应的视差图；采集俯视角度的多张包含行人和行李的目标图片，训练目标检测模型；利用训练好的目标检测模型对摄像头拍摄区域进行目标检测，获取区域内所有的行人和行李目标位置信息；将检测到的目标中心点坐标传入视差图中获取对应的视差信息，并将视差信息转换为目标离摄像头的距离，进而计算目标的实际高度；对每个目标的位置信息、目标与目标之间的位置关系以及行人的身高信息进行分析，判别行人通行行为，并将通行行为判定的结果发送给闸机，控制闸机动作。本发明能够有效提升闸机智能化水平，提高了闸机通行效率和安全性。

技术领域

本发明涉及城市轨道交通智能化技术领域，具体涉及一种结合目标检测与双目视觉的闸机通行行为识别与控制方法。

背景技术

随着城市轨道交通的发展，越来越多的城市人群选择乘坐地铁出行，闸机作为必要的通行控制通道，在轨道交通中起者重要的作用。在现有的闸机通行控制技术中，主要通过16对红外对射传感器来判断乘客的通行行为，通过红外对射传感器的遮挡情况来判断乘客的通行状态，这种通行逻辑判断方法对于部分通行逻辑无法有效识别，如无法区分成人携带儿童与尾随闯门的区别，无法识别下钻和上跳行为，无法区分行李和乘客等。为了能够更准确地识别乘客通行的行为，可以引入目标检测技术，准确识别乘客和行李目标，并采用双目视觉技术，对乘客身高和行李的大小进行准确的计算，根据目标检测与双目视觉的结果，判断乘客通行逻辑，能有有效提升闸机智能化水平，提高通行效率和安全性。

发明内容

本发明的目的在于提供一种结合目标检测与双目视觉的闸机通行行为识别与控制方法，解决目前闸机对乘客通行行为识别不充分的问题。

实现本发明目的的技术解决方案为：一种结合目标检测与双目视觉的闸机通行行为识别与控制方法，包括以下步骤：

步骤1：在闸机顶部安装双目摄像头；

步骤2：制作标定板并利用双目摄像头多角度采集标定板图片，利用matlab标定工具箱对左右相机采集到的图片分别进行单目标定获得左右相机的内参数矩阵；

步骤3：对步骤2中左右摄像头分别经过单目标定获得的内参数矩阵结果，利用matlab标定工具箱进行立体校准和对齐，获得相机的外参数矩阵；

步骤4：利用立体匹配算法对摄像头拍摄到的左右图像进行匹配，生成对应的视差图；

步骤5：采集俯视角度的多张包含行人和行李的目标图片，并标注制作成数据集，使用目标检测模型进行训练，利用训练好的目标检测模型对摄像头所拍摄区域内进行目标检测，获取区域内所有的行人和行李目标位置信息；

步骤6：将检测到的目标中心点坐标传入视差图中获取对应的视差信息，并利用视差信息与距离的转换公式将视差信息转换为目标离摄像头的距离，将摄像头的高度减去目标离摄像头的距离，得到目标的实际高度；

步骤7：连续多帧获取使用步骤5所得到的目标位置信息和步骤6所得到的目标高度信息，对每个目标的位置信息、目标与目标之间的位置关系以及行人的身高信息进行分析，判别行人通行行为；

步骤8：将通行行为判定的结果发送给闸机，闸机产生相应的控制，对于正常通行行为，通过实时的行人与物体的坐标位置，防止夹到行人或行李，对于异常通行行为，播放相应的声光告警信息。

进一步的，步骤1中，要求安装的双目摄像头必须正对闸机，并且双目摄像头之间相互平行，处于同一水平线上。

进一步的，步骤2中，使用的标定板为黑白格棋盘，双目摄像头多角度采集标定板图片时要求双目摄像头固定不动，且采集完图片后不能随意转动摄像头。

进一步的，步骤4中，使用的立体匹配算法为BM局部立体匹配算法。