[发明专利]一种基于3D卷积神经网络的头部姿态估计方法

说明书

本发明公开了一种基于3D卷积神经网络的头部姿态估计方法，属于深度学习和模式识别领域。对一个人的同类头部姿态进行叠加处理构建输入层。对于头部转动角度只限于平面内，将所有的转动角度转换为平面坐标，头部姿态主要分为中、上、下、左、右、左上、右上、左下、右下9类，每种头部姿态有9个角度，表现在垂直水平坐标系中为9个坐标点。网络结构在C2层分为两路进行卷积、池化计算，在C4层合并进行卷积、池化计算，C5层再将网络分为两路进行卷积、池化、全连接计算，在F2层进行全连接合并，计算SoftMax，最后输出对应的头部姿态类别。

技术领域

本发明属于深度学习、模式识别领域，尤其涉及到基于深度卷积神经网络的头部姿态估计方法。

背景技术

在计算机视觉的背景下，头部姿势估计最常被解释为推断人的头部相对于相机视图的方向的能力。更严格的是，头部姿势估计是推断头部相对于全局坐标系的方向的能力，但是这种细微差别需要知道固有的相机参数以消除来自透视畸变的感知偏差。一般成年男性的头部运动范围包括从-60.4°到69.6°的矢状屈曲和伸展(即从颈部向后运动)，正面侧向弯曲(即颈部从右向左弯曲) - 40.9°至36.3°，水平轴向旋转(从头部向左旋转)从-79.8°到75.3°[26]。肌肉旋转和相对取向的组合是经常被忽略的模糊性(例如，当相机从正面观看时与相机从正面和头部观看时相比，头部的轮廓视图看起来不完全相同转向侧面)。尽管存在这个问题，但通常假设人头部可以被建模为无实体的刚性物体。在这种假设下，人体头部的姿势受限于3个自由度(DOF)，其特征可以是俯仰角，滚动角和偏航角。

目前对驾驶行为的智能分析大多基于传统的图像处理手段，通过支持向量机来构建图像分类器。近些年来的相关研究表明，深度学习方法能够大大提高图像分类和预测的准确率。本发明基于3D深度神经网络，对分心驾驶行为做出预判，能够更好地规范驾驶行为，提高道路交通的安全性。

目前对头部姿态估计的智能计算大多使用基于模型的方法和基于外观的方法，其中使用最普遍的是基于外观的方法，对头部姿态图片进行特征提取，假定获取的人脸图像和真实图像存在某种特定关系，使用统计或者概率的方法训练关系模型来推断头部姿态。近些年的相关研究表明，使用深度学习方法对图片进行特征提取，并使用提取的特征对网络模型进行训练能大幅度提高图片分类和预测的准确率。本发明基于3D深度神经网络，对头部姿态进行预判，能让计算机准确的检测出人头部的姿态，实际应用可以极大的推进增强现实、人机交互、医疗康复、游戏娱乐等领域的发展。

发明内容

本发明的目的在于提供一种基于 3D 卷积神经网络的头部姿态估计方方法。

实现本发明目的的技术方案如下：对一个人的不同头部角度转动做叠加处理构建输入层。首先对图片立方体做卷积运算为网络的C1卷积层；然后通过两路不同的卷积核进行做卷积运算，连续重复两次，为网络的C2、C3卷积层；然后将C3输出的两类特征图做合并处理，再经过一次卷积运算，之后进行一次平均池化运算，为网络的C4卷积层；然后再通过两路不同的卷积核进行卷积运算，连续重复两次，第二次卷积进行完之后再进行一次最大池化运算，为网络的C5、C6卷积层；最后还是分两路的情况下对两类特征图分别经过全连接层F1，然后全连接层F2对两路全连接层进行合并，进行SoftMax计算，最后输出对应的头部姿态分类。

具体步骤如下：

步骤1：将头部姿态定义为9类。将图片强制缩放为150*120，然后将同一类头部姿态图片做叠加处理，将2D图片输入转为3D输入。

步骤2：使用步骤1获得的训练样本训练3D卷积神经网络

步骤2.1：输入立方体经过卷积计算，为C1卷积层；

步骤2.2：对步骤2.1输出的特征图立方体，通过两路不同的卷积核做卷积计算，连续重复两次，为网络的C2、C3卷积层。