[发明专利]基于轻量双通道神经网络的人脸表情识别方法

权利要求书

1.基于轻量双通道神经网络的人脸表情识别方法，其特征在于，包括以下操作步骤：

S1、图像预处理和图结构的构建

S11、对输入图片的面部图像进行预处理，先对其进行灰度化处理以降低数据维数；

S12、再进行人脸检测及裁剪，以减少图像中与人脸无关的背景信息对特征提取等产生的影响；

S13、将裁剪后的面部图像归一化为统一大小224x224，作为CNN通道的输入；

S14、图结构构建

检测输入图像中的人脸特征点，构建图，每两个图结点相连，距离构成边的权值，得到一个加权邻接矩阵表示表情的几何特征，这些特征点周围的像素值就是这些图节点的属性，得到一个节点特征矩阵可以表示表情的纹理特征；

S2、搭建基于GCN的轻量双通道网络，自动提取表情的全局特征和局部特征

S21、全局特征通道——CNN通道

CNN通道由5个卷积单元组成，每个卷积单元包含一个卷积层和一个最大池化层，都是3x3的卷积核和2x2的池化核，其中，修正线性单元被用作每个卷积层的激活函数，向量化层将多维数据一维化为全局特征向量，便于后面的特征向量连接,还加入了批归一化层；

在批训练中，每个batch的激活以零均值和单位方差为中心，对于m维输入X＝{x⁽¹⁾,...,x^(m)}，每个维度的正则化将是

其中E和Var是输入X的期望值和方差，CNN中一个层的输入有四个维度，所以每个维度都会进行归一化，通过使用批归一化，一个minibatch中所有样本都被关联在了一起，因此网络不会从某一个训练样本中生成确定的结果，即同样一个样本的输出不再仅仅取决于样本的本身，也取决于跟这个样本同属一个batch的其他样本，而每次网络都是随机取batch，这样一定程度上也避免了过拟合；

S22、局部特征通道——GCN通道

图卷积网络和普通的卷积神经网络的思想类似，对于节点特征矩阵X和加权邻接矩阵A，它的层与层之前的传播方式如下：

GCN通道具体由4层图卷积层构成；

S3、特征融合和表情分类

S31、将双通道网络提取的全局特征和局部特征连接，得到一个连接特征向量；

S32、将其输入到一层全连接层进行特征融合及表情分类，得到最终的分类结果。

2.根据权利要求1所述的基于轻量双通道神经网络的人脸表情识别方法，其特征在于，所述步骤S2中，四个维度指batch size,channels,width and height。

3.根据权利要求1所述的基于轻量双通道神经网络的人脸表情识别方法，其特征在于，所述步骤S2中，I_N是单位矩阵；是的度矩阵，公式为W^(l)是一个可训练的权重矩阵；H^(l)是每一层的特征，对于输入层，H就是X；σ表示激活函数，比如ReLU(·)＝max(0,·)。

4.根据权利要求1所述的基于轻量双通道神经网络的人脸表情识别方法，其特征在于，所述步骤S3中，连接特征向量可以表示为：

v_c＝(v_g,v_l)，其中v_c、v_g和v_l分别表示连接特征向量、全局特征向量和局部特征向量。