[发明专利]一种基于改进的CNN人脸表情识别方法

权利要求书

1.一种基于改进的CNN人脸表情识别方法，其特征在于，包括以下步骤：

S1、采用集合了人脸检测和对齐功能的人脸检测对齐算法JDA算法，从视频流中获取人脸表情图像；

S2、对步骤S1获得的人脸表情图像，采用图像预处理的算法对采样的图像进行包括人脸姿态的矫正、去除表情无关的背景信息、直方图均衡、尺度归一化在内的预处理；

S3、在对步骤S2获得的归一化的人脸表情图像进行特征提取之前，采用改进的CNN模型进行训练，得到最佳的网络参数并保存；改进的CNN模型改进点主要有三个关键点：

1、采用连续且较小的卷积核替代较大的卷积核；

2、在卷积神经网络模型中引入Inception模型；

3、设计改进的CNN模型时引入点卷积(1×1卷积)，其中点卷积主要功能为数据的降维和升维，实现了跨通道的交互和信息融合；数据的降维与升维是通过控制卷积核数量实现的；

网络结构主要采用1×1卷积、3×3卷积和Inception模型结果堆栈而成，其中Inception模块近似一个稀疏结构，具体结构是将1×1卷积，3×3卷积，5×5卷积和3×3最大池化层堆栈在一起，激活函数使用ReLU激活函数，然后将这些层连接在一起作为输出；最终提出的深度卷积神经网络架构包含传统的CNN层和Inception模块，网络包含五层卷积与两层Inception模块以两层最大池化层，最后两层为全连接层输出七种分类结果；

S4、对步骤S3获得的最佳网络参数，加载卷积神经网络CNN模型以及S3得到的最佳的网络参数，并对S2获得的归一化的人脸表情图像进行特征提取；

S5、对步骤S4获得的人脸表情特征，使用SVM分类器进行分类识别。

2.根据权利要求1所述的一种基于改进的CNN人脸表情识别方法，其特征在于，所述步骤S1的人脸检测对齐JDA算法，其核心主要采用随机森林的策略来训练一个分类与回归树(Classification and Regression Trees,CART)，并以一定的概率来选择是决策树或者分类树。树的顶部侧重于检测，底部侧重于回归，来训练分类与回归树。在采集训练样本使用滑动窗口的方式，进行判断一个窗口是否是人脸目标。当训练模型时，每个叶子节点的输出都是特征点的偏移，然后提取特征点附近的特征，作为人脸特征进行分类。其中叶子节点的输出，之后采用全局的回归优化，进而预测关键点的位置，进而辅助检测人脸目标。

3.根据权利要求1所述的一种基于改进的CNN人脸表情识别方法，其特征在于，所述步骤S2对采样的图像进行人脸姿态的矫正包括步骤：

S21：对人脸图像包括眼睛、鼻子、嘴、眉毛在内的主要特征点进行定位，并确定特征点的中心在人脸图像的坐标位置；

S22：人脸姿态的矫正，依据步骤S21中的特征点定位，确定人脸图像与双眼中心坐标信息，旋转变换以使得双眼中心的线段与图像的水平轴对齐，即一个眼睛中心到另一个眼睛中心的线段与水平轴的角度为零。

4.根据权利要求3所述的一种基于改进的CNN人脸表情识别方法，其特征在于，所述步骤S2对采样的图像进行人脸姿态的矫正包括步骤：在步骤S22基础上，图像裁剪使用半眼距离(b)进行空间归一化，裁剪区域的垂直系数为4.5，其中眼睛上方的区域为1.3，下方为区域为3.2，而水平裁剪区域的系数为2.4。

5.根据权利要求4所述的一种基于改进的CNN人脸表情识别方法，其特征在于，所述步骤S22将直方图均衡化将灰度图中较为集中的灰度区间均衡分布到全局灰度区间以提高图像对比度，假如原始灰度图像的灰度用r表示，经直方图均衡化后的灰度图像灰度用s表示，其中0≤r,s≤1，则任意r在区间[0,1]范围内经过T(r)变换后都有一个s与之相对应，最后采用尺寸归一化，将所有的图像转换成尺寸为32×32像素；

尺寸归一化才能进入CNN模型进行特征提取，需要对采集的图像进行尺度的缩小或放大处理，对图像尺度归一化的处理过程如下：图像尺度缩小变换步骤、图像尺度放大变换步骤，上述尺度缩小变换步骤与放大变换的步骤将采集的面部图像均归一化为32×32像素的统一尺寸。