[发明专利]基于多通道融合和轻量级神经网络的人脸表情识别方法

权利要求书

1.基于多通道融合和轻量级神经网络的人脸表情识别方法，其特征在于，包括以下步骤：

S1、通过表情数据库或者摄像头获取图像数据，并使用基于Haar特征的Cascade级联分类器对人脸表情库图像进行人脸区域检测，获取人脸图像；

S2、采用局部二值模式提取人脸区域的局部纹理特征，并基于Canny边缘检测算法对人脸区域的边缘进行检测；

S3、构建并初始化轻量级神经网络；

S4、把获取到的人脸图像、LBP纹理特征图像、边缘检测Canny图像进行通道融合，并将融合后的图像进行数据归一化和数据增强后输入到构建的轻量级神经网络中进行训练和识别。

2.根据权利要求1所述的基于多通道融合和轻量级神经网络的人脸表情识别方法，其特征在于，步骤S4在对构建的轻量级神经网络进行训练时，使用数据增强的训练集进行模型训练，并按批次训练模型，逐批生成数据，然后执行反向传播，并更新模型中的权重，重复该过程直到达到期望的epoch数量。

3.根据权利要求1所述的基于多通道融合和轻量级神经网络的人脸表情识别方法，其特征在于，步骤S1中，在获取人脸图像后，还需要进行图像归一化处理，把不同维度的特征值尺度调整到相近的范围内。

4.根据权利要求1所述的基于多通道融合和轻量级神经网络的人脸表情识别方法，其特征在于，步骤S2中，采用局部二值模式提取人脸区域的局部纹理特征的过程如下：

给定一个像素(x_c,y_c)，采样点数为P以及采样圆形领域半径为R，得到的LBP可以用十进制表示如下：

其中p表示圆形区域中总计P个采样点中的第p个采样点,i_c表示圆邻域内中心像素的灰度值，i_p表示圆形邻域内P个周围像素的灰度值，函数s(x)定义为：

原始LBP的数值转化为二进制编码，对它进行循环移位操作，用数学公式表示，取所有结果中最小的那个值：

其中ROR(x,i)指对P位数x执行循环位右移i次。

5.根据权利要求1所述的基于多通道融合和轻量级神经网络的人脸表情识别方法，其特征在于，步骤S2中基于Canny边缘检测算法对人脸区域的边缘进行检测的过程如下：

S21、采用高斯平滑滤波器进行卷积降噪，即对原始数据与高斯滤波器进行卷积操作，使图像更平滑，用数学公式表示，二维高斯函数为：

其中(x,y)为原图像h(x,y)像素点的纵横坐标点，σ为高斯函数标准差；把高斯函数和原图像h(x,y)进行卷积处理后得到H(x,y)：

H(x,y)＝G(x,y)×h(x,y) (5)

S22、噪声滤除后，对H(x,y)计算梯度幅度和方向来估计每一点处的边缘强度与方向，利用一阶偏导数有限差分计算梯度，其x和y方向的一阶偏导数矩阵为P(i,j)和Q(i,j)：

由下式计算得到梯度幅值M(i,j)和梯度方向θ(i,j)：

梯度角度θ范围从弧度-π到π，并把它近似到四个方向，分别代表水平，垂直和两个对角线方向(0°，45°，90°，135°)，沿着梯度方向对梯度幅值进行非极大值抑制，寻找像素点的局部最大值，在每一点上，领域中心像素点与沿着其对应的梯度方向的两个像素相比，若中心像素为最大值，则保留，否则中心置0，从而可以抑制非极大值，保留局部梯度最大的点，以得到细化的边缘。

6.根据权利要求1所述的基于多通道融合和轻量级神经网络的人脸表情识别方法，其特征在于，步骤S4中，经通道融合后得到的图像为48×48像素的三通道图像。

7.根据权利要求6所述的基于多通道融合和轻量级神经网络的人脸表情识别方法，其特征在于，步骤S4在对输入轻量级神经网络中的图像进行识别时：

首先依次通过两个2D卷积层进行卷积操作，卷积核大小均为3×3，卷积核个数分别为32、64，步长均为1；然后将输出依次经过残差模块一、残差模块一、残差模块二、残差模块一，卷积核个数分别为128、256、256、512，其中深度可分离卷积的卷积核大小为3×3，最大池化的卷积核大小为3×3，2D卷积层的卷积核大小为1×1；再然后将输出依次送入两个深度可分离卷积层，卷积核大小均为3×3，卷积核个数分别为1024、512，步长均为1；最后把输出依次送入全局平均池化层和Softmax分类器，所有的2D卷积、深度可分离卷积操作都要经过一个Batch Normalization层和ReLU6激活层来加速网络的收敛速度和增加提取非线性特征的能力。