[发明专利]基于头部朝向与上半身骨架特征的交警指挥手势识别方法

权利要求书

1.一种基于头部朝向与上半身骨架特征的交警指挥手势识别方法，其特征在于包括以下步骤：

1)车载相机采集得到视频或原始图像序列后，进行交警检测、姿态估计与跟踪，确定目标交警的上半身关节点在图像中的像素坐标；

2)估计交警头部朝向，通过交警头部朝向判断交警的指挥对象是否为自车；

3)交警指挥手势识别，包括提取上半身骨架空间特征、提取上半身骨架时序特征和手势分类；

所述步骤1)中，采用YOLOv3检测出图像中的交警和行人，获取包围每个交警或行人个体的边界框的左上角坐标及框的宽度和高度；然后采用AlphaPose对交警目标进行关节点估计，即获取交警关节点的像素坐标，若图像中有多个交警，则利用AlphaPose中的姿态跟踪技术进行跟踪，为每个交警分配唯一ID；

所述步骤1)中，采用的特征关节点包括0-鼻、1-左肩、2-右肩、3-左肘、4-右肘、5-左腕、6-右腕和7-肩膀中点共8个；

所述步骤2)中，具体估计方法包括以下步骤：

2.1)根据已经获取的0-鼻和7-肩膀中点的坐标估计交警头部边界框：设头部边界框为正方形，以鼻为正方形中心，两倍鼻至肩膀中点的距离2a为正方形边长；

2.2)交警头部朝向估计：采用Deep Orientation朝向估计方法，将RGB图像、深度图像或两者同时作为输入，使用改进的Biternion Net作为网络结构，输出是上半身朝向角度的二元数，即角度的余弦值和正弦值；通过将训练数据替换为行人头部边界框图像，网络输出改为行人头部朝向角度的二元数，重新训练网络；将交警头部边界框图像输入训练好的网络模型，最终得到交警头部朝向角度；

2.3)筛选出面向自车进行指挥的交警；

所述步骤3)中，具体识别方法包括以下步骤：

3.1)提取人体上半身骨架的空间特征：采用互有连接关系的关节点之间的长度和角度特征构成特征向量，用于区分不同手势；

3.2)构造循环网络模型提取上半身骨架时序特征并进行手势分类。

2.如权利要求1所述交警指挥手势识别方法，其特征在于，所述步骤2.3)中，筛选规则为：头部朝向角度估计为0°～45°以及315°～360°之间的交警，认为是正在面向自车进行指挥。

3.如权利要求1所述交警指挥手势识别方法，其特征在于，所述步骤3.1)中，具体包括以下步骤：

3.1.1)关节点对连接关系定义：特征长度和特征角度是针对关节点连线而言，关节点之间的连接关系共有3种，构成10组关节点对，以向量形式表达，分别为：相邻点—左肩-左肘，左肘-左腕，右肩-右肘，右肘-右腕，左肩-右肩；上肢首尾点—左肩-左腕，右肩-右腕；上半身骨架模型末端点—鼻-左腕，鼻-右腕，左腕-右腕；

3.1.2)长度特征定义：共定义了10组关节点对，相应产生10段长度，对长度进行标准化处理，以鼻到肩膀中点的距离a作为标准化的分母，设长度特征为F₁：

a＝‖X₀-X₇‖

式中，C表示所有关节点对连接关系的集合，为具有连接关系c的一组关节点对中的第i个点在图像中的像素坐标，i＝1,2，序号1表示关节点对向量的起点，2表示终点，当两个关节点中任意一个未被检测出来，直接令其长度为0；X₀为交警鼻部的像素坐标，X₇为交警左肩和右肩像素坐标的中点，当鼻、左肩、右肩任一关节点未被检测出来，直接令a＝1；

3.1.3)角度特征定义：将关节点对向量与重力方向夹角的余弦值和正弦值作为角度特征，设重力方向的单位向量为u₀,则角度特征向量F₂为：

如果任一关节点未被检测出来，直接令角度特征为[0,0]。

4.如权利要求3所述交警指挥手势识别方法，其特征在于，所述步骤3.2)中，设t时刻的空间特征向量为将t至t+b-1时刻共b帧空间特征向量输入手势分类模型，模型输出每一时刻的手势分类结果。