[发明专利]基于局部与整体特征自适应融合的表情识别方法及系统

说明书

本发明公开了一种基于局部与整体特征自适应融合的表情识别方法及系统。该方法首先获取表情图像集，对表情图像集中的图像进行人脸检测、裁剪和对齐处理；然后构建一种表情识别模型，该模型包括数据处理模块、特征提取模块、特征融合模块和分类层，其中，特征融合模块使用注意力机制学习人脸整体图像及其多个局部区域图像特征的注意力权重，并基于注意力权重自适应选择重要特征进行加权融合；再使用表情图像集中的图像作为训练样本对构建的表情识别模型进行训练；最后利用训练好的表情识别模型对新输入的测试图像进行表情分类识别。本发明可自适应地融合来自整个人脸及未被遮挡的重要区域的表情特征，有效解决遮挡和姿态变化环境下的表情识别问题。

技术领域

本发明涉及一种基于局部与整体特征自适应融合的表情识别方法及系统，属于计算机视觉和模式识别领域。

背景技术

人脸表情是人际交往中信息传递的重要途径，在察觉说话人情绪、领悟言语含义和捕捉情感细节上起到非常重要的作用。据心理学家Mehrabiadu的研究表明，在人类的日常交流中，通过人脸表情传递的信息高达信息总量的55％。随着信息技术和计算机科学的快速发展，人们对机器的“智能”也提出了更高的要求，人脸表情识别作为情感计算的一个研究方向，是实现人机交互的基础，在人工智能领域扮演了重要的角色，在疲劳驾驶检测、服务机器人、医疗监控、虚拟现实等领域有着广阔的应用前景。

在过去十年里，研究人员大多集中于研究受控环境(实验室环境)下的表情识别，针对背景简单、无遮挡、姿态端正、无光照变化的人脸图像，采用基于深度学习的表情识别方法取得了突破性的进展。然而，在真实环境(非受控环境)下，由于存在背景复杂、遮挡、头部姿态多变、光照变化等因素，给人脸表情识别带来了巨大挑战，如何提高人脸表情识别准确率、增强表情识别方法对各种外部干扰的鲁棒性和面对环境变化的适应性是亟待解决的关键问题。

中国专利申请“一种基于AU共生关系约束的自然场景下的面部表情识别方法”(专利申请号CN201811263258.5，公开号CN109492557A)，先将人脸表情图像进行特征点定位并且根据人脸特征点分割出人脸运动单元(AU)，根据AU当作训练数据训练网络得到分类结果，并且利用AU间共生关系调整识别损失。该方法使用AU作为训练数据进行训练，但是在人脸被遮挡或者姿势变化角度较大的时候，会有一些AU无法进行提取或者提取错误，对模型的识别率造成负面影响。

中国专利申请“一种人脸表情识别方法、装置及设备”(专利申请号CN201910389191.8，公开号CN110110672A)，该方法认为每个人脸分区均具有以所述人脸区域的纵向中心线为对称线互相对称的另一人脸分区，首先基于特征点匹配算法确定包含被遮挡区域的人脸分区，然后利用与被遮挡区域的人脸分区互相对称的人脸分区进行水平镜像得到的图像替换被遮挡区域的人脸分区，最后对所述人脸区域进行表情识别。该方法使用镜像对称的方法替换原被遮挡的区域，但是当有些特定表情，比如轻蔑表情一般会出现单侧嘴角的上扬，而另一侧没有变化，这样进行镜像对称可能就变成双侧嘴角上扬，从而影响模型的泛化性能。

发明内容

发明目的：针对真实场景下表情识别模型存在识别准确率低、鲁棒性差等问题，本发明的目的是提供一种基于局部与整体特征自适应融合的表情识别方法及系统，使用注意力机制学习人脸整体图像及其多个局部区域图像特征的注意力权重，然后对权重较大的重要特征进行加权融合，自适应地融合来自整个人脸及未被遮挡的重要区域的表情特征，抑制或排除遮挡和不相关区域对表情识别带来的不利影响，有效解决遮挡和姿态变化环境下的表情识别问题。

技术方案：本发明为实现上述发明目的采用以下技术方案：

一种基于局部与整体特征自适应融合的表情识别方法，包含以下步骤：

(1)获取包含类别标签的表情图像集；

(2)对表情图像集中的图像进行人脸检测、裁剪和对齐处理；

(3)构建表情识别模型，该模型包括数据处理模块、特征提取模块、特征融合模块和分类层；