[发明专利]基于头部朝向与上半身骨架特征的交警指挥手势识别方法

说明书

本发明涉及一种基于头部朝向与上半身骨架特征的交警指挥手势识别方法，其包括以下步骤：车载相机采集得到视频或原始图像序列后，进行交警检测、姿态估计与跟踪，确定目标交警的上半身关节点在图像中的像素坐标；估计交警头部朝向，通过交警头部朝向判断交警的指挥对象是否为自车；交警指挥手势识别，包括提取上半身骨架空间特征、提取上半身骨架时序特征和手势分类。本发明具有较高的识别准确率，能保证识别的稳定性；在节省计算资源的同时还能避免自车非交警识别对象时对手势的误判。

技术领域

本发明涉及一种自动驾驶领域，特别是关于一种基于头部朝向与上半身骨架特征的交警指挥手势识别方法。

背景技术

机动车驾驶员必须能够正确识别交警的八种指挥手势，同样地，自动驾驶汽车上路也必须能够准确理解交警的指挥意图，这样才能在需要交警介入协调的特殊情况下，遵照交警指挥手势正确行驶，保证道路交通安全顺畅。交警手势识别技术需应用于广泛的交通场景中，基于可穿戴式传感设备的行为识别方法虽然准确性较好，但使用条件局限性较强，难以在自动驾驶领域推广；而与此同时，视觉传感器在智能汽车上的安装逐渐普及，计算机视觉领域的研究日益成熟，基于视觉的手势识别方法在自动驾驶领域具有更大的应用潜力。

当前基于人体骨架信息的手势或动作识别研究非常普遍，人体骨架既保留了人体动作表征，又避免了与动作表征关联较小的外观信息的影响，能够很好地对手势或动作进行建模。基于人体骨架的手势识别一般分为时空特征提取与特征分类两个步骤。针对空间特征提取，一些基于三维骨架信息的动作识别方法中提出了一系列以关节点空间关系描述为核心的特征构建方法，例如以关节点向量的长度、角度等作为特征；针对时序特征提取，通常可采用相邻帧关节点的位置变化来描述，使用循环神经网络通过学习提取时序特征也是常用方法；近几年兴起的图神经网络也是可用于人体骨架时空特征提取的有效方法。针对特征分类，一般可采用支持向量机、随机森林、神经网络等方法。

现有的基于人体骨架的手势识别方法在相关数据集上可获得较高的准确率，也可达到实时运行的要求，但对实际交通场景下应用的考虑尚有不足。一方面，由于人流、车流来往复杂，图像中交警被部分遮挡的现象时常发生，为保证手势识别的稳定性，应考虑减少对手势表征作用较小的特征的依赖。另一方面，实际交通中，车载相机拍摄到的交警可能正在指挥其他方向的车辆，自车并非交警的指挥对象，由于训练时所用的数据通常只有交警面向相机进行指挥的情形，因此现有方法直接应用于实际交通中往往会有许多错判结果。

发明内容

针对上述问题，本发明的目的是提供一种基于头部朝向与上半身骨架特征的交警指挥手势识别方法，其具有较高的识别准确率，能保证识别的稳定性；在节省计算资源的同时还能避免自车非交警识别对象时对手势的误判。

为实现上述目的，本发明采取以下技术方案：一种基于头部朝向与上半身骨架特征的交警指挥手势识别方法，其包括以下步骤：1)车载相机采集得到视频或原始图像序列后，进行交警检测、姿态估计与跟踪，确定目标交警的上半身关节点在图像中的像素坐标；2)估计交警头部朝向，通过交警头部朝向判断交警的指挥对象是否为自车；3)交警指挥手势识别，包括提取上半身骨架空间特征、提取上半身骨架时序特征和手势分类。

进一步，所述步骤1)中，采用YOLOv3检测出图像中的交警和行人，获取包围每个交警或行人个体的边界框的左上角坐标及框的宽度和高度；然后采用AlphaPose对交警目标进行关节点估计，即获取交警关节点的像素坐标，若图像中有多个交警，则利用AlphaPose中的姿态跟踪技术进行跟踪，为每个交警分配唯一ID。

进一步，所述步骤1)中，采用的特征关节点包括0-鼻、1-左肩、2-右肩、3-左肘、4-右肘、5-左腕、6-右腕和7-肩膀中点共8个。

进一步，所述步骤2)中，具体估计方法包括以下步骤：

2.1)根据已经获取的0-鼻和7-肩膀中点的坐标估计交警头部边界框：设头部边界框为正方形，以鼻为正方形中心，两倍鼻至肩膀中点的距离2a为正方形边长；