[发明专利]基于图卷积网络的面部表情识别方法

权利要求书

1.一种基于图卷积网络的面部表情识别方法，其特征在于，基于每张图片的所有人脸关键点，生成该图片对应的拓扑图，搭建一个由七个人脸五官池化模块并联组成的人脸五官池化模块组；该方法的步骤包括如下：

(1)生成训练集：

(1a)采集至少5000张人脸图片，每个人脸图片包含1个人脸表情及对应的表情标签，每个人至少采集7种表情，每种表情至少2张图片；

(1b)使用68人脸关键点检测算法，检测每张图片中每个人脸关键点，得到每张图片包含每个人脸关键点的坐标信息的人脸关键点；

(1c)基于每张图片的所有人脸关键点，生成该图片对应的拓扑图；

(1d)将属于同一种表情的所有图片对应的拓扑图组成一类，将所有类的拓扑图及其对应的表情标签组成训练集；

(2)构造图卷积网络：

(2a)搭建一个由三个图卷积层串联组成的图卷积模块，其中每个图卷积层均由图卷积函数实现；

(2b)搭建一个由七个人脸五官池化模块并联组成的人脸五官池化模块组，其中每个人脸五官池化模块由图注意力层和图池化层串联组成，所述图注意力层通过图注意力函数实现，图池化层通过图平均池化函数实现；

所述的图注意力函数如下：

其中，f₂(·)表示图注意力函数，表示输入训练集中第i个拓扑图的经过图卷积模块后输出的特征矩阵，表示训练集中第i个拓扑图的经过图卷积模块后输出的邻接矩阵，softmax(·)表示softmax函数，(·)^T表示转置操作，表示逐元素相乘操作；

(2c)搭建一个由级联层和全连接层串联组成的表情特征提取模块，其中，全连接层中神经元个数为7；

(2d)将图卷积模块、人脸五官池化模块组、表情特征提取模块依次串联组成图卷积网络；

(3)训练图卷积网络：

将训练集输入到图卷积网络中，利用小批量随机梯度下降算法，依次按照设置的批量值从训练集中提取对应数量的小批量拓扑图进行迭代训练，直至交叉熵损失函数收敛为止，得到训练好的图卷积网络，保存训练好的图卷积网络的权重；

(4)对面部表情进行识别：

采用与步骤(1b)和步骤(1c)相同的方法，将待识别面部表情的每张人脸图片进行预处理，生成与该张人脸图片对应的拓扑图，将每个拓扑图依次输入到训练好的图卷积网络中，将该训练好的图卷积网络的输出确定为与每个拓扑图对应的表情类别。

2.根据权利要求1所述的基于图卷积网络的面部表情识别方法，其特征在于：步骤(1b)中所述的68人脸关键点检测算法是指，在输入的每张图片中定位人脸区域；利用训练好的68人脸关键点特征检测器，提取人脸区域内68个人脸关键点的横、纵坐标值。

3.根据权利要求1所述的基于图卷积网络的面部表情识别方法，其特征在于：步骤(1c)中所述的基于每张图片的所有人脸关键点，生成该图片对应的拓扑图指的是：将同一张图片每个人脸中的每个关键点作为一个节点；连接所有位于相同人脸五官内的节点或者位于不同人脸五官内且距离最近的节点，得到该张图片对应的拓扑图；所述人脸五官是左眉毛、右眉毛、左眼睛、右眼睛、鼻子、外嘴唇、内嘴唇。

4.根据权利要求1所述的基于图卷积网络的面部表情识别方法，其特征在于：步骤(2a)中所述的图卷积函数如下：

其中，f₁(·)表示图卷积函数，表示训练集中第i个拓扑图的输入到第j个图卷积层中所有节点的特征组成的特征矩阵，j＝1,2,3，表示根据与对应的拓扑图中节点的连接关系生成的邻接矩阵，当该拓扑图的第m个节点与第n个节点之间有边或当m＝n时，其对应的邻接矩阵的第p行和第q列的值为1，否则为0，m和n的取值与p和q的取值对应相等；σ(·)表示激活函数，表示中间矩阵的度矩阵，I_N表示单位矩阵，W^j表示第j个图卷积层的权重矩阵。