[发明专利]一种基于枪球联动的驾驶员安全驾驶行为检测方法

说明书

本发明提出一种基于枪球联动的驾驶员安全驾驶行为检测方法。建立监控区域的CIM，在监控区域设置一个枪机和若干个可旋转的球机，枪机获取监控区域原始图像，检测人的头部关键点、车头尾关键点和车身亲和矢量场，匹配出每个车的车头尾关键点，输出车身矢量场图。将头部关键点图、车身矢量场图和车头尾关键点热力图叠加并投影到CIM地面平面上。根据头部关键点与各个车的车头尾关键点、车头尾关键点连线所在直线的位置关系，筛选出候选头部关键点。使用球机对每个候选头部关键点对应的候选人进行拍摄，检测人体关键点并得到人的骨架图，根据人骨架图的动作筛选出驾驶员。检测驾驶员鞋子类型，判断是否符合交通安全规定。

技术领域

本申请涉及视频监控和神经网络领域，具体涉及一种基于枪球联动的驾驶员安全驾驶行为检测方法。

背景技术

目前，私家车普及率越来越高，交通安全问题也越来越受人们的关注。一些驾驶员穿着不符合要求的鞋子驾驶车辆，对自己和他人的安全都造成了威胁。当汽车在行驶过程中，穿高跟鞋的驾驶员，遇到紧急情况下踩刹车时，脚掌对刹车的压力不足，会来不及刹车；穿拖鞋的驾驶员，遇到紧急情况下，由于拖鞋没有后脚跟的阻力，脚面滑动导致脚掌对刹车的压力不足，也会来不及刹车。因此，在驾驶员驾驶车辆行驶前，提醒乘客穿着符合要求的鞋子，可以有效地避免造成交通事故发生。

目前对于驾驶员穿着鞋子是否符合要求的检测方法主要是在车内安装识别装置进行识别，2019年8月30日公开的CN110182132A中提供了一种车辆驾驶安全提醒方法、系统及电子设备，此发明提供了一种检测驾驶员鞋子类型的方法和系统：在汽车启动后，通过特定的摄像头，结合驾驶员鞋子图像分类和鞋底压力分布数据，分析出驾驶员穿的鞋子类型，对穿鞋不符合要求的驾驶员发出警告，提示驾驶员换鞋。这种方法需要在每个车内安装相关的传感器和报警设备，成本偏高；并且在车启动后再检测驾驶员穿鞋是否规范，驾驶员可能来不及换鞋。

发明内容

针对以上问题，本发明提出一种基于枪球联动的驾驶员安全驾驶行为检测方法。建立监控区域的CIM，在监控区域设置一个枪机和若干个可旋转的球机，枪机获取监控区域原始图像，检测人的头部关键点、车头尾关键点和车身亲和矢量场，匹配出每个车的车头尾关键点，输出车身矢量场图。将头部关键点图、车身矢量场图和车头尾关键点热力图叠加并投影到CIM地面平面上。根据头部关键点与各个车的车头尾关键点、车头尾关键点连线所在直线的位置关系，筛选出候选头部关键点。使用球机对每个候选头部关键点对应的候选人进行拍摄，检测人体关键点并得到人的骨架图，根据人骨架图的动作筛选出驾驶员。检测驾驶员鞋子类型，判断是否符合交通安全规定。

一种基于枪球联动的驾驶员安全驾驶行为检测方法，其特征在于，该方法包括：

步骤S1：建立监控区域的CIM；在监控区域设置一个位姿固定的枪机和若干个位置固定且可以旋转视角的球机；枪机拍摄监控区域的图像，输出监控区域原始图像；将监控区域原始图像输入训练好的头部关键点检测网络，检测人的头部关键点，输出头部关键点热力图；将监控区域原始图像输入训练好的车头尾关键点检测网络，检测出车头尾关键点，输出车头尾关键点热力图；将监控区域原始图像输入训练好的车身检测网络，检测车身，输出车身亲和矢量场；计算车身亲和矢量场上的线积分，获得各个车头尾关键点之间的连接权重值，使用匹配算法，以图中总权重值最大为目标匹配车头尾关键点，为每个车头关键点匹配一个车尾关键点，输出车身矢量场图；

步骤S2：将头部关键点热力图、车身矢量场图和车头尾关键点热力图叠加在一起并根据枪机的参数投影到CIM地面平面上，得到CIM地面平面上的监控区域俯视图；计算CIM地面平面上监控区域俯视图中每个头部关键点的坐标，根据头部关键点与各个车的车头尾关键点、车头尾关键点连线所在直线的位置关系，从所有头部关键点中筛选出候选头部关键点；选择距离候选头部关键点最近的球机，旋转一定角度使它的光轴经过候选头部关键点，且候选头部在球机拍摄图像的中心，令球机拍摄图像，输出候选人原始图像；