[发明专利]一种拥堵十字路口场景下的交警手势识别方法

权利要求书

1.一种拥堵十字路口场景下的交警手势识别方法，其特征在于，包括以下步骤：

步骤一、路端高清摄像机、车端高清摄像机的布置及校准；

步骤二、十字路口内交警目标、手势特征数据的采集、标注、制作数据集；

步骤三、路端交警目标确定及手势识别算法的训练；

步骤四、车端测距及车端路端信息融合，并识别拥堵十字路口场景下的交警手势。

2.根据权利要求1所述的一种拥堵十字路口场景下的交警手势识别方法，其特征在于，所述步骤一的具体方法如下：

a)在尺度为w×b的十字路口中，其中，b为面向车辆的路口宽度，w为b垂直方向的十字路口道路宽度，将每个路边缘的拐点设置为基准点，并安放高度为h的路基，路基上安放n个路端高清摄像机，其中，n≥4，且距离地面高度h的顶端上至少安放一个高清摄像机，每个所述路端高清摄像机从不同方向检测十字路口道路内的同步高清视频信息，包含交警、车辆和行人，所有的高清摄像机检测的视频内容应包含十字路口垂直空间内的所有信息；所述高清摄像机利用张友正相机标定法对各个高清摄像机进行单独标定，并利用对极几何约束的方法对所有高清摄像机进行联合校准，以能够准确识别和定位目标；

b)车端双目高清摄像机由两个高清单目相机组合形成；所述双目高清摄像机用于车端感知前方道路目标信息；所述双目高清摄像机利用张友正相机标定法对高清摄像机进行单独标定，并利用对极几何约束的方法对高清摄像机进行校准，以能够准确识别和定位目标；

c)在每个路基高度为h₀处设置1个区别于交通指示牌的醒目指示标志作为路端高清摄像机检测到的十字路口空间与车端双目高清摄像机检测到的十字路口空间进行匹配关联的基准装置。

3.根据权利要求1所述的一种拥堵十字路口场景下的交警手势识别方法，其特征在于，所述步骤二的具体方法如下：

利用路端高清摄像机拍摄车辆行人拥堵、交通指示灯正常工作的路口的、不同视角下的同步的高清视频，所述高清视频作为训练的数据集；训练的数据集标注基准如下：

a)定义车辆坐标系；

车辆前进方向为y轴，垂直于y轴的右方向为x轴，垂直于x、y轴平面向上的方向为z轴；将路基坐标系定义为：面向车辆的十字路口向右的方向为x′轴，垂直于x′轴且与车辆x轴朝向一致的方向为y′轴，面向车辆且距离最近的左侧垂直地面的路基方向作为z′轴方向；

b)标注交警类别；

标注时的分类有：交警、交通指示灯、车辆、行人及障碍物；

当交警存在时，交警的优先级大于交通指示灯；识别交警手势前要正确识别交警目标，将交警按是否存在制服特征这一标准，将身着制服的交警目标标注为交警类别，且上装的优先级高于帽子，同时还要对交警朝向进行标注，交警朝向和手势共同决定指挥方向；

c)标注交警手臂关节点和骨骼；

交警的交通指挥手势由左右手臂共同完成，即只对交警每个手臂的10个手指关节点，1个腕关节点，1个肘关节点和1个肩关节点标注即可，每个路端高清摄像机或车端双目高清摄像机检测到的每个关节点都包含三个维度坐标信息，手指关节点(h₁…h₁₀)坐标(h_x1，h_y1，h_z1)…(h_x10，h_y10，h_z10)，腕关节点w坐标(w_x1，w_y1，w_z1)，肘关节点e坐标(e_x1，e_y1，e_z1)和肩关节点坐标s：(s_x1，s_y1，s_z1)，所有关节点形成一个标注列表Joints，所有关节点连接成骨骼Limb，形成一个骨骼标注列表；当某个高清摄像机未检测到关节点时，坐标值设置为0；交警各个关节点在三维空间的真实位置通过三角测量方法来计算；具体如下：Joints＝[(h_x1，h_y1，h_z1)…(h_xk，h_yk，h_zk)，(w_x1，w_y1，w_z1)，(e_x1，e_y1，e_z1)，(s_x1，s_y1，s_z1)]

Limb＝[(h₁，h₂)，(h₃，h₄)，(h₅，h₆)，(h₇，h₈)，(h₉，h₁₀)，(h₂，w)，(h₄，w)，(h₆，w)，(h₈，w)，(h₁₀，w)，(w，e)，(e，s)，其中，w为腕关节点坐标；e为肘关节点坐标；s为肩关节点坐标；

d)标注交警的手势；

根据实际交警的不同手势，为不同手势进行分类标注，用于不同手势识别的训练。