[发明专利]一种基于视觉的运营车辆人员异常行为检测方法

权利要求书

1.一种基于视觉的运营车辆人员异常行为检测方法，其特征在于，步骤如下：

第一步，摄像头安装与标定

首先，在载人运营车辆(21)的后视镜处安置两个摄像头i，并对其进行编号：i＝1,2；调整两个摄像头的拍摄角度，使其能直接采集到包括驾驶部位(20)及其周围区域的图像信息；各摄像头扫描率需大于5帧/秒；

然后，将两个摄像头组成双目视觉摄像头I；利用opencv数据库，对两个摄像头进行单独标定，同时利用opencv数据库对双目视觉摄像头I进行双目标定；

第二步，运营车辆(21)内人员姿态的实时提取

首先，根据运营车辆(21)内座位的分布情况，对采集图像中车内人员进行编号；设车内有m个人员，标注驾驶座位上的人员编号为1，其余人员为编号依次为2～m；不同摄像头采集到相同人员编号需一致；设定编号为j的人员为人员j；

然后，利用openpose数据库中深度学习算法标记采集图像内所有人员的骨骼节点；通过在第i摄像头中采集得到的人员j的骨骼节点k，i＝1,2；j＝1,2,…,m；k＝0,2,…,17；组成了人员j骨骼节点集合其中，为第i摄像头中获取人员j的骨骼节点k在图像坐标系的坐标

最后，根据计算得到第i摄像头采集得到的车内人员j骨骼节点集合利用opencv数据库中的双目视觉下空间坐标计算方法，获得人员j的骨骼节点k在第i摄像头中车内空间坐标系的坐标

第三步，危险距离阈值的计算

首先，设定车内实施干扰人员编号为p，被干扰人员编号为q；基于ECU协议，通过运营车辆(21)OBD接口提取车辆的行驶速度V；运营车辆(21)行驶情况下，即|V|＞0时，界定驾驶人员为被干扰人员q，即q＝1；其余人员为实施干扰人员p即p≠1；在车辆未行驶情况下，即V＝0时，界定驾驶人员为被干扰人员q＝1，其余人员为实施干扰人员p≠1，或驾驶人员为实施干扰人员p＝1，其余人员为被干扰人员q≠1；

然后，计算被干扰人员q各关键肢体部位的危险距离阈值；关键肢体部位包括头部、身体与手臂；关键肢体部位中各个节点包括鼻部骨骼节点(0)、颈部骨骼节点(1)、右肩部骨骼节点(2)、右肘部骨骼节点(3)、右腕部骨骼节点(4)、左肩部骨骼节点(5)、左肘部骨骼节点(6)、左腕部骨骼节点(7)、右跨部骨骼节点(8)、右膝部骨骼节点(9)、右踝部骨骼节点(10)、左跨部骨骼节点(11)、左膝部骨骼节点(12)、左踝部骨骼节点(13)、右眼部节点(14)、左眼部节点(15)、右太阳穴骨骼节点(16)和左太阳穴骨骼节点(17)；

设定被干扰人员q手臂为以腕部骨骼节点、肘部骨骼节点、肩部骨骼节点k、k-1连线为轴，k＝3,4,6,7；直径c_q的圆柱体；身体为以鼻部骨骼节点(0)、颈部骨骼节点(1)为轴，肩宽b_q为直径的圆柱体；头部为以鼻部骨骼节点(0)、颈部骨骼节点(1)为轴，太阳穴间距离a_q为直径的圆柱体；

手臂直径c_q根据实际情况自行设定；

肩宽b_q为：在第i摄像头中的车内空间坐标系内被干扰人员q右肩部骨骼节点(2)坐标与左肩部骨骼节点(5)坐标间的距离：

被干扰人员q头部宽度a_q为：在第i摄像头中的车内空间坐标系内被干扰人员q右太阳穴骨骼节点(16)坐标与左太阳穴骨骼节点(17)坐标间距离：

最后，设定被干扰人员q头部、身体、手臂的危险距离阈值分别为：

式中，A_q、B_q、C_q为被干扰人员q头部、身体、手臂的危险距离阈值，单位mm；

第四步，人员异常行为的判定

人员异常行为的判定包括：实施干扰人员p腕部位置距离被干扰人员q头部、身体、手臂的实际距离计算，以及实施干扰人员p是否发生异常行为的判定；

实施干扰人员p腕部位置距离被干扰人员q手臂的实际距离E_q为：第i摄像头中车内空间坐标系内的实施干扰人员p右腕部骨骼节点(4)、左腕部骨骼节点(7)的坐标与被干扰人员q手臂处骨骼相邻节点间连线的距离d_c；其中，被干扰人员q手臂处骨骼相邻节点间连线为

其中，(x,y,z)表示被干扰人员q手臂处骨骼相邻节点间连线上的任意一点；

设定被干扰人员q头部与身体处于同一轴线；实施干扰人员p腕部位置距离被干扰人员q头部的实际距离D_q与身体的实际距离F_q皆为：第i摄像头中车内空间坐标系内的实施干扰人员p右腕部骨骼节点(4)、左腕部骨骼节点(7)的坐标与被干扰人员q头部、颈部处骨骼节点间连线的距离d_ab；其中，被干扰人员q头部、颈部处骨骼节点间连线为，

其中，(x₁,y₁,z₁)表示被干扰人员q头部、颈部处骨骼节点间连线上的任意一点；

判定实施干扰人员p腕部位置处于被干扰人员q头部或身体的公式为，

当实施干扰人员p腕部位置处于被干扰人员q头部时，Δ＞0；当实施干扰人员p腕部位置处于被干扰人员q身体时，Δ＜0；则实施干扰人员p腕部位置与被干扰人员q头部的实际距离D_q或与被干扰人员q身体的实际距离F_q为，

最后，判定车内人员是否发生异常行为；当实施干扰人员p的腕部位置距被干扰人员q的手臂、身体的实际距离E_q、F_q连续小于危险距离C_q、B_q的时间超过10s，则实施干扰人员p发生了异常行为；当实施干扰人员p的腕部位置距被干扰人员q的手头部的实际距离D_q在5s内小于危险距离A_q的时间累积超过1s，则实施干扰人员p发生了异常行为。