[发明专利]一种基于时空图卷积神经网络的动态表情识别方法及系统

权利要求书

1.一种基于时空图卷积神经网络的动态表情识别方法，其特征在于，该方法包括以下步骤：

(1)对动态表情数据集中的每一个表情序列进行预处理，得到等长的表情序列；

(2)对预处理后的表情序列中每帧图像进行人脸关键点检测，得到每个关键点的位置坐标及编号，并对关键点的坐标进行归一化；

(3)提取表情序列中每个关键点的局部纹理特征向量，并与该关键点的归一化坐标进行拼接，得到关键点的局部融合特征向量；

(4)连接表情序列同帧间的关键点形成空域边，连接相邻帧相同编号的关键点形成时域边，形成时空拓扑图的边集，将表情序列的关键点集合作为时空拓扑图的节点集，构建时空拓扑图；

(5)构建时空图卷积神经网络，该网络包含多个顺序连接的时空图卷积块，一个全局平均池化层，两个全连接层以及一个分类层；所述时空图卷积块中的空间图卷积在实现空域上相邻节点特征融合的基础上，首先计算节点间的相似度，得到相似度矩阵，然后将该矩阵与输入特征相乘，实现空域上相似节点特征的融合；

(6)利用构建的时空拓扑图和对应的表情类别对时空图卷积神经网络进行训练，得到训练好的时空图卷积神经网络模型；

(7)将基于新的表情序列生成的时空拓扑图作为输入，利用训练好的网络模型进行识别，输出最终的分类结果。

2.根据权利要求1所述的一种基于时空图卷积神经网络的动态表情识别方法，其特征在于，所述步骤(1)中的预处理包括以下子步骤：

(1.1)将每个表情序列截取成长度为S的帧序列，对于多于S帧的序列，截取序列的最后S帧，对于少于S帧的序列，利用序列的最后一帧扩充至S帧；其中S为设定的表情序列的帧长；

(1.2)对序列中每一帧图像的尺寸进行归一化处理，使每一帧图像的大小都为m×n像素；其中m、n为设定的图像宽度和高度。

3.根据权利要求1所述的一种基于时空图卷积神经网络的动态表情识别方法，其特征在于，所述步骤(2)中的对关键点的坐标进行归一化包括以下子步骤：

(2.1)对预处理后的表情序列中每帧图像进行人脸关键点检测，得到关键点的集合为V＝{v_t，i|1≤t≤S，1≤i≤N}，其中v_t，i＝(x_t，i，y_t，i)表示第t帧图像中编号为i的关键点坐标，S表示表情序列的帧长，N表示每帧图像中关键点的个数，这些关键点分布在嘴巴、眼睛、眉毛和鼻子部位；

(2.2)将所有关键点的坐标减去第一帧中鼻尖关键点的坐标，得到坐标归一化后的关键点集合V′＝{v′_t，i|1≤t≤S，1≤i≤N}。

4.根据权利要求1所述的一种基于时空图卷积神经网络的动态表情识别方法，其特征在于，所述步骤(3)中的局部融合特征向量具体实现步骤如下：

记从第t帧中编号为i的关键点提取的局部纹理特征向量为l_t，i，将该特征向量与该关键点的归一化坐标v′_t，i进行拼接，得到关键点的局部融合特征向量m_t，i＝{v′_t，i，l_t，i)，通过对动态表情序列中所有关键点进行相同的操作，得到的关键点集合为M＝{m_t，i|1≤t≤S，1≤i≤N}。

5.根据权利要求1所述一种基于时空图卷积神经网络的动态表情识别方法，其特征在于，所述步骤(4)中连接表情序列同帧间的关键点形成空域边的方法为：首先对分布在嘴巴、眼睛、眉毛和鼻子部位处的关键点按照人脸的几何结构进行连接，形成各部位子图的边；然后为了便于信息在各部位子图间的流通，对各子图进行相互连接，形成各子图间的边。