[发明专利]一种基于深度学习的情绪强度估计方法及系统

权利要求书

1.一种基于深度学习的情绪强度估计方法，其特征在于，所述方法包括：

步骤S101：接收用户视频图像；

步骤S102：提取用户视频图像中的面部图像特征和头部图像特征；

步骤S103：基于面部图像特征和头部图像特征利用训练好的深度卷积神经网络计算用户情绪强度级别；以及

步骤S104：根据所述情绪强度级别输出相应报警信息。

2.如权利要求1所述的基于深度学习的情绪强度估计方法，其特征在于，所述步骤S102包括：

在所述用户视频图像中分割出面部、头部区域；

针对所述面部区域，检测并标记面部区域关键点，计算所述面部区域各关键点的位置与面部区域关键点平均位置的距离，并针对面部区域各关键点提取尺度不变特征变换(SIFT)特征，以得到面部区域特征向量；以及

针对所述头部区域，检测并标记头部区域关键点，计算所述头部区域各关键点的运动矢量，并使用有限长单位冲激响应(IIR)滤波器对所述头部区域各关键点的运动矢量进行时域滤波，以得到头部区域特征向量。

3.如权利要求1所述的基于深度学习的情绪强度估计方法，其特征在于，所述深度卷积神经网络的训练包括：

采集不同人的视频图像并标记出情绪强度级别；

在所采集的视频图像的面部区域上提取尺度不变特征变换(SIFT)特征以得到面部区域特征向量；

在所采集的视频图像的头部区域上提取运动矢量特征并进行时域滤波以得到头部区域特征向量；

以所标记的情绪强度级别为训练目标，利用所述面部区域特征向量和头部区域特征向量对所述深度卷积神经网络进行训练。

4.如权利要求1所述的基于深度学习的情绪强度估计方法，其特征在于，所述步骤S104包括：

当所述情绪强度高于预定级别时，输出关于所述用户情绪强度过高的报警信息。

5.一种基于深度学习的情绪强度估计系统，其特征在于，所述系统包括：

视频接收模块，用于接收用户视频图像；

特征提取模块，用于提取用户视频图像中的面部图像特征和头部图像特征；

情绪强度计算模块，用于基于面部图像特征和头部图像特征利用训练好的深度卷积神经网络计算用户情绪强度级别；以及

告警输出模块，用于根据所述情绪强度级别输出相应报警信息。

6.如权利要求5所述的基于深度学习的情绪强度估计系统，其特征在于，所述特征提取模块通过如下方法实现：

在所述用户视频图像中分割出面部、头部区域；

针对所述面部区域，检测并标记面部区域关键点，计算所述面部区域各关键点的位置与面部区域关键点平均位置的距离，并针对面部区域各关键点提取尺度不变特征变换(SIFT)特征，以得到面部区域特征向量；以及

针对所述头部区域，检测并标记头部区域关键点，计算所述头部区域各关键点的运动矢量，并使用有限长单位冲激响应(IIR)滤波器对所述头部区域各关键点的运动矢量进行时域滤波，以得到头部区域特征向量。

7.如权利要求5所述基于深度学习的情绪强度估计系统，其特征在于，所述深度卷积神经网络的训练包括：

采集不同人的视频图像并标记出不同的情绪强度；

在所采集的视频图像的面部区域上提取尺度不变特征变换(SIFT)特征以得到面部区域特征向量；

在所采集的视频图像的头部区域上提取运动矢量特征并进行时域滤波以得到头部区域特征向量；

以所标记的情绪强度级别为训练目标，利用所述面部区域特征向量和头部区域特征向量对所述深度卷积神经网络进行训练。

8.如权利要求5所述基于深度学习的情绪强度估计系统，其特征在于，所述告警输出模块通过如下方法实现：

当所述情绪强度高于预定级别时，输出关于所述用户情绪强度过高的报警信息。