[发明专利]一种级联的驾驶员人体姿态估计方法

权利要求书

1.一种级联的驾驶员人体姿态估计方法，其特征在于，包括以下步骤：

步骤一：从车辆驾驶平台收集相关驾驶员图像，制作数据集DDS的驾驶员图像，作为输入网络的实验数据；

步骤二：利用VGG网络对输入的驾驶员图像提取特征图F；

步骤三：使用添加了沙漏结构的深度网络FCN1提取图像中驾驶员的关键点位置信息；同时利用深度网络FCN2获得关键点之间的连接信息；

步骤四：将深度网络FCN1提取到的图像特征中的关键点位置信息、深度网络FCN2提取到的图像特征中的关键点之间的连接情况与特征图F进行融合，作为网络当前阶段的输出；

步骤五：重复步骤三、步骤四，通过增加网络深度提高网络整体检测精度，设定t＝6，循环到第六次网络结束；

步骤三中通过在全连接网络中添加沙漏结构，融合图像多个尺度的特征信息，再通过heatmap得到图像中每个像素对于各个关节点的概率图，同时保留原始特征图上各关键点的空间信息，获取关键点的方法具体为：

步骤一：在深度网络FCN1第一个阶段输出热力图S¹：

S¹＝ρ¹(F)

式中：ρ¹为网络的映射函数；

F为特征图；

步骤二：之后的阶段将前一阶段的预测结果和特征图F进行融合，作为当前阶段的输出，经过卷积操作预测出骨点热力图S^t：

式中：ρ^t为t阶段的网络映射函数；

S^t-1为t-1阶段的输出热力图；

L^t-1为t-1阶段的关键点间连接信息；

在训练的时候对每个阶段的输出的关键点位置进行了监督起到中继监督作用，损失函数形式分别如下：

式中：为关键点的位置信息；

为t阶段的关键点的位置信息；

j包含所有的关键点；

W为掩膜函数。

2.根据权利要求1所述的一种级联的驾驶员人体姿态估计方法，其特征在于，步骤二中使用VGG网络进行迁移学习，利用在ImageNet数据集上训练的VGG-16网络提取驾驶员图像特征图F，其中特征图F是128个46×46大小的特征图，在VGG-16网络之后添加两个卷积层Conv4_3A和Conv4_4A，卷积核大小均为3×3，其中Conv4_3A是256维，Conv4_4A为128维。

3.根据权利要求1所述的一种级联的驾驶员人体姿态估计方法，其特征在于，步骤三中一共包含18个人体关键点，它们分别是：鼻子，脖子，右肩，右肘，右手腕，左肩，左肘，左手腕，右臀部，右膝盖，右脚裸，左臀部，左膝盖，左脚裸，左眼睛，右眼睛，左耳朵，右耳朵。

4.根据权利要求1所述的一种级联的驾驶员人体姿态估计方法，其特征在于，步骤三中使用FCN2对关键点间获取连接信息，获取关键点的方法具体为：

步骤一：在深度网络FCN2第一个阶段输出关键点的部分亲和域图L¹：

式中：为网络的映射函数；

步骤二：之后的阶段将前一阶段的预测结果和特征图F进行融合，经过卷积操作预测关键点间连接信息：

在训练的时候对每个阶段的输出的关键点位置进行了监督起到中继监督作用，损失函数形式分别如下：

式中：表示亲和区域的实际值；

C表示人体的所有关节数目。

5.根据权利要求1或4所述的一种级联的驾驶员人体姿态估计方法，其特征在于，使用中继监督方法计算整个网络每个阶段的损失之和累加，其方法为：