[发明专利]一种级联的驾驶员人体姿态估计方法

说明书

一种级联的驾驶员人体姿态估计方法，通过采集车辆驾驶平台的驾驶员图像，并在系统中输入驾驶员图像；利用VGG网络对输入的图像提取特征图F；使用添加了沙漏结构的深度网络FCN1提取图像中驾驶员的关键点位置信息；同时利用深度网络FCN2获得关键点之间的连接情况；将用深度网络FCN1提取到的图像特征中的关键点位置信息、深度网络FCN2提取到的图像特征中的关键点之间的连接情况和特征图F进行融合；通过搭建级联的网络结构充分利用图像空间信息，并增加网络深度来提高网络整体预测准确度，能够将关键点的位置信息和关键点对应的连接信息融合，给出较高准确性和可靠性的驾驶员人体姿态估计结果。

技术领域

本发明涉及一种人体姿态估计方法，具体是一种级联的驾驶员人体姿态估计方法，属于计算机视觉和图像处理技术领域。

背景技术

目前人体姿态估计已经在计算机视觉领域取得了很大的进步，其中就被广泛应用在动作识别、人体跟踪、视频分析、智能监控和高级人机交互等任务中；它可以通过读取图像或者视频预测到目标人体的关节点和肢体部位的位置信息，但在复杂场景下的姿态估计由于受遮挡、光线、人员和衣着的变化等问题，导致人体姿态估计不够准确和鲁棒性差，因此，在复杂环境下对高自由度的人体实现高精度的鲁棒姿态估计仍面临巨大的挑战。

人们在乘车或驾驶车辆的过程中，车辆内人员的姿态存在明显的隐蔽性和主观抑制特性，因此对行驶车辆中的人员进行人体姿态估计，一方面可以减轻监管机构在监督行车人员行为规范方面的部分工作，实现高效管理；另一方面，尽可能避免车辆在行车过程中因失误而发生的意外，进行及时的提醒和监督，减少交通事故的发生，避免对社会带来的不良影响。

发明内容

本发明的目的是提供一种级联的驾驶员人体姿态估计方法，可以针对车辆驾驶室内环境复杂、光照变化等情况，提供一种高准确率和鲁棒性的人体姿态估计方法。

为了实现上述目的，本发明提供一种级联的驾驶员人体姿态估计方法，包括以下步骤：

步骤一：从车辆驾驶平台收集相关驾驶员图像，制作数据集DDS的驾驶员图像，作为输入网络的实验数据；

步骤二：利用VGG网络对输入的驾驶员图像提取特征图F；

步骤三：使用添加了沙漏结构的深度网络FCN1提取图像中驾驶员的关键点位置信息；同时利用深度网络FCN2获得关键点之间的连接信息；

步骤四：将深度网络FCN1提取到的图像特征中的关键点位置信息、深度网络FCN2提取到的图像特征中的关键点之间的连接信息与特征图F进行融合；

步骤五：重复步骤三、步骤四，通过增加网络深度提高网络整体检测精度，设定t＝6，循环到第六次网络结束

作为本发明的进一步改进，步骤二中使用VGG网络进行迁移学习，利用在ImageNet数据集上训练的VGG-16网络提取驾驶员图像特征图F，其中特征图F是128个46*46大小的特征图，在VGG-16网络之后添加两个卷积层Conv4_3A和Conv4_4A，卷积核大小均为3乘3，其中Conv4_3A是256维，Conv4_4A为128维，降低特征维度减少冗余特征对网络的影响。

作为本发明的进一步改进，步骤三中一共包含18个人体关键点，它们分别是：鼻子，脖子，右肩，右肘，右手腕，左肩，左肘，左手腕，右臀部，右膝盖，右脚裸，左臀部，左膝盖，左脚裸，左眼睛，右眼睛，左耳朵，右耳朵。

作为本发明的进一步改进，步骤三中通过在全连接网络中添加沙漏结构，融合图像多个尺度的特征信息，再通过heatmap得到图像中每个像素对于各个关节点的概率图，同时保留原始特征图上各关键点的空间信息，获取关键点的方法具体为：

步骤一：在深度网络FCN1第一个阶段输出热力图S¹＝ρ¹(F)，其中ρ¹为网络的映射函数；