[发明专利]一种基于深度学习的情绪强度估计方法及系统

说明书

本发明提供一种基于深度学习的情绪强度估计方法及系统，所述方法包括：接收用户视频图像；提取所述视频图像中的面部图像特征和头部图像特征；基于所述面部图像特征和头部图像特征利用训练好的深度卷积神经网络计算所述用户的情绪强度；以及根据所述情绪强度级别输出相应报警信息。本发明提供的基于深度学习的情绪强度估计方法和系统不需要用户专门配合，可以在对话过程中通过对用户面部特征和头部特征的融合分析，实现对用户情绪强度的非接触式自动评估，因此易于实现并且在使用上非常灵活和方便。

技术领域

本发明涉及视频图像处理技术领域，具体而言涉及一种基于深度学习的情绪强度估计方法及系统。

背景技术

随着图像处理技术的进步，目前出现了许多方法，能够根据采集到的面部图像，识别面部表情，将表情进行分类：如分为高兴、悲伤以及中间态，再如分为激动、平静，或者分为疑惑、害怕、伤心、吃惊等等。分类的方式很多，但是目前这些方法只能针对表情进行粗略的分类，无法获知表情分类下的具体强度，如有多高兴、多悲伤等等，即未基于表情识别做出表情强度的估计。近年来，开始慢慢有相关研究开始投入到基于表情识别的情绪强度估计研究中来。然而，仅仅通过面部表情来表征情绪强度都存在着缺陷，即忽略了情绪表达的另一个途径——头部的晃动剧烈程度。

发明内容

针对现有技术的不足，本发明提出一种基于深度学习的情绪强度估计方法，所述方法包括：步骤S101：接收用户视频图像；步骤S102：提取用户视频图像中的面部图像特征和头部图像特征；步骤S103：基于面部图像特征和头部图像特征利用训练好的深度卷积神经网络计算用户情绪强度级别；以及步骤S104：根据所述情绪强度级别输出相应报警信息。

示例性地，所述步骤S102包括：在所述用户视频图像中分割出面部、头部区域；针对所述面部区域，检测并标记面部区域关键点，计算所述面部区域各关键点的位置与面部区域关键点平均位置的距离，并针对面部区域各关键点提取尺度不变特征变换(SIFT)特征，以得到面部区域特征向量；以及针对所述头部区域，检测并标记头部区域关键点，计算所述头部区域各关键点的运动矢量，并使用有限长单位冲激响应(IIR)滤波器对所述头部区域各关键点的运动矢量进行时域滤波，以得到头部区域特征向量。

根据本发明的实施例，所述深度卷积神经网络的训练包括：采集不同人的视频图像并标记出情绪强度级别；在所采集的视频图像的面部区域上提取尺度不变特征变换(SIFT)特征以得到面部区域特征向量；在所采集的视频图像的头部区域上提取运动矢量特征并进行时域滤波以得到头部区域特征向量；以所标记的情绪强度级别为训练目标，利用所述面部区域特征向量和头部区域特征向量对所述深度卷积神经网络进行训练。

示例性地，所述步骤S104包括：当所述情绪强度高于预定级别，则输出关于所述用户情绪强度过高的报警信息。

另一方面，本发明还提供一种基于深度学习的情绪强度估计系统，所述系统包括：视频接收模块，用于接收用户视频图像；特征提取模块，用于提取用户视频图像中的面部图像特征和头部图像特征；情绪强度计算模块，用于基于面部图像特征和头部图像特征利用训练好的深度卷积神经网络计算用户情绪强度；以及告警输出模块，用于根据所述情绪强度级别输出相应报警信息。

示例性地，所述特征提取模块通过如下方法实现：在所述用户视频图像中分割出面部区域、头部区域；针对所述面部区域，检测并标记面部区域关键点，计算所述面部区域各关键点的位置与面部区域关键点平均位置的距离，并针对面部区域各关键点提取尺度不变特征变换(SIFT)特征，以得到面部区域特征向量；以及针对所述头部区域，检测并标记头部区域关键点，计算所述头部区域各关键点的运动矢量，并使用有限长单位冲激响应(IIR)滤波器对所述头部区域各关键点的运动矢量进行时域滤波，以得到头部区域特征向量。