[发明专利]动作识别模型训练方法和动作识别方法及装置

说明书

本发明提供了一种动作识别模型训练方法和动作识别方法及装置。训练方法包括：获取预设动作节点集合中的所有节点的节点数据；根据所述节点数据，计算所述节点集合中所有节点的连接边集合和每条连接边的边数据；根据所述节点数据和所述连接边的边数据，构建动作数据的图结构；以所述动作数据的图结构作为模型输入，表情识别分类结果作为模型输出，对预设的图卷积神经网络表情识别模型进行有监督训练；其中，以所述动作数据的图结构中的所述连接边的边数据作为模型输入。基于图结构来记录和计算动作数据，进一步提升了参与深度学习的有效数据量，可以获得更好的识别精度，且减少对样本数据精确度的依赖。

技术领域

本发明涉及人工智能技术领域，具体而言，涉及一种动作识别模型训练方法和动作识别方法及装置。

背景技术

目前，人体的动作识别，特别是表情识别主要是基于采集的图像或视频中的动作或人脸表情时间序列，通过深度神经网络，特别是深度卷积神经网络来实现动作或表情分类。然而基于图像以及视频序列来识别表情和动作，特别是微表情和微动作，卷积神经网络算法往往受限于表情捕捉的精确程度，很难具备较高的准确度。其中，微表情分类相对于宏表情(情绪分类)来说更加困难，主要因为数据稀疏、需要定位到面部局部区域，且持续时间较短，不易捕捉。

图神经网络自提出以来，由于其自身的结构特点和在处理非结构化数据方面的卓越性能，被迅速应用到人工智能的各个分支领域，如知识图谱，社交计算和图像处理等。其中，在动作识别，特别是表情识别方面，较常用的是基于是人体形态或面部信息的图表示的图卷积神经网络算法。其中，在人脸中，通过定点指定或者特征点提取等方式，设定若干个节点，并以所述节点信息为输入，训练图卷积神经网络进行表情识别。由于来自图像序列的提取节点信息，往往只具有像素一个方面的特征(将像素的R，G，B信息视为同一个特征方面)，从而使得基于特征点作为节点的图神经网络动作识别，特别是表情识别方法，尤其受限于表情捕捉的精度和节点的选取，当精度欠佳或节点选择不准确时，往往不能得到理想的识别结果。

发明内容

为了解决上述技术问题中的至少一个方面，获得更好的动作识别，特别是表情识别结果，本发明提出了一种动作识别模型训练方法、一种动作识别方法和装置，以及一种非临时性计算机可读存储介质。

根据本发明的第一方面，提出了一种动作识别模型的训练方法，其包括：

获取预设动作节点集合中的所有节点的节点数据，所述节点数据包括节点的空间位置和节点动作数据的时间序列；

根据所述节点数据，计算所述节点集合中所有节点的连接边集合和每条连接边的边数据，所述边数据表征节点动作数据相对于参考值发生变动的节点位置和节点动作数据的变化；

根据所述节点数据和所述连接边的边数据，构建动作数据的图结构；

以所述动作数据的图结构作为模型输入，动作识别分类结果作为模型输出，对预设的图卷积神经网络动作识别模型进行有监督训练；

其中，所述以所述动作数据的图结构作为模型输入包括：以所述动作数据的图结构中的所述连接边的边数据作为模型输入。

在一些实施例中，所述以所述动作数据的图结构作为模型输入，包括：以所述动作数据的图结构中的所述连接边的边数据和所述节点数据共同作为模型输入。

在一些实施例中，所述动作识别模型为人脸表情识别模型，，所述获取预设节点集合中的所有节点的节点数据，包括：

获取设置于人脸皮肤上的预设面部节点处的压电传感器采集的电压数据，将所述压电传感器采集的电压数据经数据预处理后，得到所述预设面部节点集合中的所有节点的节点数据；或者

获取包含人脸的多帧时序图像，根据所述时序图像获取预设面部节点集合中的所有节点的节点数据。