[发明专利]一种智能监控的表情识别方法、装置、设备和存储介质

权利要求书

1.一种智能监控的表情识别方法，其特征在于，包含：

获取图像序列；其中，所述图像序列包含有目标人物；

通过人脸检测模型，获得所述图像序列中的人脸区域；

通过表情识别模型，获得所述人脸区域中的表情信息；

根据所述图像序列的时间顺序和所述表情信息，生成初始表情序列；

根据所述初始表情序列，通过预测模型进行校正，以获得面部表情序列。

2.根据权利要求1所述的表情识别方法，其特征在于，所述人脸检测模型为YOLOv3人脸识别模型；所述表情识别模型为VGG16表情分类模型；

所述表情信息包括x类；其中，所述x类包括neutral、serious、panic、curious、surprise、happiness、despise；

根据所述图像序列的时间顺序和所述表情信息，生成初始表情序列，具体为：

根据所述图像序列中各帧的时间信息，生成时间序列T；

根据所述时间序列，对所述表情信息进行排序，以获得所述初始表情序列I。

3.根据权利要求1所述的表情识别方法，其特征在于，所述预测模型为LSTM模型；所述LSTM模型的输入长度为n，单位长度的特征包括x类；

根据所述初始表情序列，通过预测模型进行校正，以获得所述人物的面部表情序列，具体为：

根据所述初始表情序列，分割成长度为n的输入序列；

将所述输入序列输入至所述预测模型，以获得长度为n的输出序列；

根据所述输出序列，获得所述面部表情序列。

4.根据权利要求3所述的表情识别方法，其特征在于，所述输入长度n为11帧。

5.一种智能监控的表情识别装置，其特征在于，包含：

序列模块，用于获取图像序列；其中，所述图像序列中包含有人的图像；

区域模块，用于通过人脸检测模型，获得所述图像序列中的人脸区域；

表情模块，用于通过表情识别模型，获得所述人脸区域中的表情信息；

初始模块，用于根据所述图像序列的时间顺序和所述表情信息，生成初始表情序列；

最终模块，用于根据所述初始表情序列，通过预测模型进行校正，以获得面部表情序列。

6.根据权利要求5所述的表情识别装置，其特征在于，所述人脸检测模型为YOLOv3人脸识别模型；所述表情识别模型为VGG16表情分类模型；

所述表情信息包括x类；其中，所述x类包括neutral、serious、panic、curious、surprise、happiness、despise；

初始模块，具体包括：

时间单元，用于根据所述图像序列中各帧的时间信息，生成时间序列T；

初始单元，用于根据所述时间序列，对所述表情信息进行排序，以获得所述初始表情序列I。

7.根据权利要求5所述的表情识别装置，其特征在于，所述预测模型为LSTM模型；所述LSTM模型的输入长度为n，单位长度的特征包括x类；

最终模块，具体包括：

输入单元，用于根据所述初始表情序列，分割成长度为n的输入序列；

输出单元，用于将所述输入序列输入至所述预测模型，以获得长度为n的输出序列；

最终单元，用于根据所述输出序列，获得所述面部表情序列。

8.根据权利要求7所述的表情识别装置，其特征在于，所述输入长度n为11帧。

9.一种智能监控的表情识别设备，其特征在于，包括处理器、存储器，以及存储在所述存储器内的计算机程序；所述计算机程序能够被所述处理器执行，以实现如权利要求1至4任意一项所述的智能监控的表情识别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至4任意一项所述的智能监控的表情识别方法。