[发明专利]一种基于视觉的运营车辆人员异常行为检测方法

摘要

本发明提供一种基于视觉的运营车辆人员异常行为检测方法，属于视觉识别领域。该方法首先全方位采集车内驾驶人员及其周围人员的图像信息；然后，提取2D图像，利用openpose数据库中深度学习算法对所有图像内人员的骨骼节点进行标注；接着，结合车辆行驶状态，界定干扰人员与被干扰人员，计算被干扰人员各关键肢体部位的危险距离阈值。随后，基于双目测距原计算干扰人员的腕部节点与被干扰人员关键肢体部位的空间距离；最后，通过判断空间距离处在危险距离阈值内的时间，检测干扰人员的异常行为。本发明适用于运营车辆人员异常行为检测，为车内人员异常行为的警示与及时报警提供关键评判依据，对保障车内人员生命财产安全具有重要意义。

主权项

1.一种基于视觉的运营车辆人员异常行为检测方法，其特征在于，步骤如下：第一步，摄像头安装与标定首先，在载人运营车辆(21)的后视镜处安置两个摄像头i，并对其进行编号：i＝1,2；调整两个摄像头的拍摄角度，使其能直接采集到包括驾驶部位(20)及其周围区域的图像信息；各摄像头扫描率需大于5帧/秒；然后，将两个摄像头组成双目视觉摄像头I；利用opencv数据库，对两个摄像头进行单独标定，同时利用opencv数据库对双目视觉摄像头I进行双目标定；第二步，运营车辆(21)内人员姿态的实时提取首先，根据运营车辆(21)内座位的分布情况，对采集图像中车内人员进行编号；设车内有m个人员，标注驾驶座位上的人员编号为1，其余人员为编号依次为2～m；不同摄像头采集到相同人员编号需一致；设定编号为j的人员为人员j；然后，利用openpose数据库中深度学习算法标记采集图像内所有人员的骨骼节点；通过在第i摄像头中采集得到的人员j的骨骼节点k，i＝1,2；j＝1,2,…,m；k＝0,2,…,17；组成了人员j骨骼节点集合其中，为第i摄像头中获取人员j的骨骼节点k在图像坐标系的坐标最后，根据计算得到第i摄像头采集得到的车内人员j骨骼节点集合利用opencv数据库中的双目视觉下空间坐标计算方法，获得人员j的骨骼节点k在第i摄像头中车内空间坐标系的坐标第三步，危险距离阈值的计算首先，设定车内实施干扰人员编号为p，被干扰人员编号为q；基于ECU协议，通过运营车辆(21)OBD接口提取车辆的行驶速度V；运营车辆(21)行驶情况下，即|V|>0时，界定驾驶人员为被干扰人员q，即q＝1；其余人员为实施干扰人员p即p≠1；在车辆未行驶情况下，即V＝0时，界定驾驶人员为被干扰人员q＝1，其余人员为实施干扰人员p≠1，或驾驶人员为实施干扰人员p＝1，其余人员为被干扰人员q≠1；然后，计算被干扰人员q各关键肢体部位的危险距离阈值；关键肢体部位包括头部、身体与手臂；关键肢体部位中各个节点包括鼻部骨骼节点(0)、颈部骨骼节点(1)、右肩部骨骼节点(2)、右肘部骨骼节点(3)、右腕部骨骼节点(4)、左肩部骨骼节点(5)、左肘部骨骼节点(6)、左腕部骨骼节点(7)、右跨部骨骼节点(8)、右膝部骨骼节点(9)、右踝部骨骼节点(10)、左跨部骨骼节点(11)、左膝部骨骼节点(12)、左踝部骨骼节点(13)、右眼部节点(14)、左眼部节点(15)、右太阳穴骨骼节点(16)和左太阳穴骨骼节点(17)；设定被干扰人员q手臂为以腕部骨骼节点、肘部骨骼节点、肩部骨骼节点k、k‑1连线为轴，k＝3,4,6,7；直径c_q的圆柱体；身体为以鼻部骨骼节点(0)、颈部骨骼节点(1)为轴，肩宽b_q为直径的圆柱体；头部为以鼻部骨骼节点(0)、颈部骨骼节点(1)为轴，太阳穴间距离a_q为直径的圆柱体；手臂直径c_q根据实际情况自行设定；肩宽b_q为：在第i摄像头中的车内空间坐标系内被干扰人员q右肩部骨骼节点(2)坐标与左肩部骨骼节点(5)坐标间的距离：被干扰人员q头部宽度a_q为：在第i摄像头中的车内空间坐标系内被干扰人员q右太阳穴骨骼节点(16)坐标与左太阳穴骨骼节点(17)坐标间距离：最后，设定被干扰人员q头部、身体、手臂的危险距离阈值分别为：式中，A_q、B_q、C_q为被干扰人员q头部、身体、手臂的危险距离阈值，单位mm；第四步，人员异常行为的判定人员异常行为的判定包括：实施干扰人员p腕部位置距离被干扰人员q头部、身体、手臂的实际距离计算，以及实施干扰人员p是否发生异常行为的判定；实施干扰人员p腕部位置距离被干扰人员q手臂的实际距离E_q为：第i摄像头中车内空间坐标系内的实施干扰人员p右腕部骨骼节点(4)、左腕部骨骼节点(7)的坐标与被干扰人员q手臂处骨骼相邻节点间连线的距离d_c；其中，被干扰人员q手臂处骨骼相邻节点间连线为其中，(x,y,z)表示被干扰人员q手臂处骨骼相邻节点间连线上的任意一点；设定被干扰人员q头部与身体处于同一轴线；实施干扰人员p腕部位置距离被干扰人员q头部的实际距离D_q与身体的实际距离F_q皆为：第i摄像头中车内空间坐标系内的实施干扰人员p右腕部骨骼节点(4)、左腕部骨骼节点(7)的坐标与被干扰人员q头部、颈部处骨骼节点间连线的距离d_ab；其中，被干扰人员q头部、颈部处骨骼节点间连线为，其中，(x₁,y₁,z₁)表示被干扰人员q头部、颈部处骨骼节点间连线上的任意一点；判定实施干扰人员p腕部位置处于被干扰人员q头部或身体的公式为，当实施干扰人员p腕部位置处于被干扰人员q头部时，Δ>0；当实施干扰人员p腕部位置处于被干扰人员q身体时，Δ<0；则实施干扰人员p腕部位置与被干扰人员q头部的实际距离D_q或与被干扰人员q身体的实际距离F_q为，最后，判定车内人员是否发生异常行为；当实施干扰人员p的腕部位置距被干扰人员q的手臂、身体的实际距离E_q、F_q连续小于危险距离C_q、B_q的时间超过10s，则实施干扰人员p发生了异常行为；当实施干扰人员p的腕部位置距被干扰人员q的手头部的实际距离D_q在5s内小于危险距离A_q的时间累积超过1s，则实施干扰人员p发生了异常行为。