[发明专利]一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法

说明书

本发明涉及一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法，与现有技术相比解决了表情痛苦度识别必须依赖全脸图像的缺陷。本发明包括以下步骤：脸部信息隐藏数据库的获得；表情识别自动学习模型的建立；待检测表情帧图像的获取；面部表情痛苦度识别；表情识别自动学习模型的再训练。本发明能够在脸部器官部分遮挡的情况下进行痛苦度的识别。

技术领域

本发明涉及图像分析技术领域，具体来说是一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法。

背景技术

随着医疗技术的不断发展，针对于同一病症具有多种医学处理方法，所涉及使用的医疗设备也多样化。基于人文关怀角度考虑，在进行医疗设备使用时尽可能地使用对患者伤害小、痛苦度低的检查或治疗设备。但在实际应用中发现，针对于不同年龄段、不同性别的患者而言，其对疼痛的接受程度和相关治疗反应也不尽相同，若能收集归纳出两者之间的关系，将为医生有针对性地使用医疗设备提供数据指导。

现有技术中，虽有部分技术通过在相关医疗设备上架设摄像设备，记录患者治疗检查过程中的面部表情，以此得出不同类别的患者对医疗设备的疼痛反应程度的数据集。但其获取的是患者的整个面部表情，对患者的个人隐私信息的泄露留下重大隐患。

因此，如何研究出一种能够在面部器官部分遮挡的条件下识别出痛苦度的方法已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中表情痛苦度识别必须依赖全脸图像的缺陷，提供一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法，包括以下步骤：

脸部信息隐藏数据库的获得，获得脸部信息隐藏条件下的面部表情数据集，脸部信息未隐藏部分为眉毛和嘴巴，面部表情数据集内的数据均已定义标签，标签内容为面部表情痛苦度；

表情识别自动学习模型的建立，利用已有标签和脸部信息经过遮挡关键部位处理的连续表情帧图像融合深度学习技术建立表情识别自动学习模型；

待检测表情帧图像的获取，获得待检测表情帧图像，待检测表情帧图像为除眉毛和嘴巴外均进行隐藏处理的脸部信息图像；

面部表情痛苦度识别，将脸部信息图像帧输入到表情识别自动学习模型，表情识别自动学习模型生成其疼痛分值；

表情识别自动学习模型的再训练，将脸部信息隐藏图像和其识别出的疼痛分值、以及眉毛和嘴巴的位置信息作为训练样本，输入面部表情识别自动学习模型进行损失函数的再训练。

所述的表情识别自动训练模型的建立包括以下步骤：

通过Haar特征技术获取面部表情帧图片中眉毛和嘴巴对应的初步感兴趣区域，将连续帧图像中眉毛和嘴巴对应的初步感兴趣区域划分成k²个分块，即若眉毛或者嘴巴感兴趣区域对应的大小是w*h，那么每个分块的大小为(w/k)*(h/k)；

通过时空全卷积网络获取面部表情帧图片的初步特征图，对时空全卷积网络进行预设定，其表达式如下：

其中，i、j分别表示输入、输出特征图的索引，表示l和l-1层之间的滤波器，M_j表示滤波器对应的三维感受野，表示偏置项，表示激活函数；

识别面部疼痛等级；

从时空全卷积网络的输出位置添加一系列特定的时空卷积层，以生成预测疼痛等级的时空位置映射的得分图；将面部表情帧图片中眉毛和嘴巴对应的初步感兴趣区域和预测疼痛等级的时空位置映射得分图共同输入感兴趣区域池化层得到疼痛等级；