[发明专利]一种基于边缘信息和注意力机制的人脸信息识别方法

说明书

本发明公开了一种基于边缘信息和注意力机制的人脸信息识别方法。本方法为：1)对输入的人脸图像进行特征提取得到该人脸图像的低层特征图；2)从该低层特征图中提取高层次特征和低层次特征；并对该低层特征图进行处理得到边缘二值图像；3)根据边缘二值图像对高层次特征和低层次特征分别进行滤波、池化采样，得到投影矩阵；4)将该投影矩阵、高层次特征、低层次特征输入图卷积模块进行推理，获得图结构的节点特征并将其输入反投影模块，得到优化后的高层特征、低层特征；5)将优化后的高层特征和低层特征送到解码器进行上采样到相同尺度并拼接在一起输入卷积网络进行更新处理得到该人脸图像的人脸信息。本发明有更低的计算时间和空间复杂度。

技术领域

本发明涉及人脸解析领域，其理论基础涉及神经网络和计算机视觉领域。

背景技术

人脸解析即将人脸中的不同部位赋予不同的标签，进行像素级的语义分割。其会为每个语义成分(如面部皮肤，眼睛，嘴巴和鼻子)分配一个像素级标签，是语义分割中的一项特殊任务。它已应用于各种场景中，例如面部理解，编辑，合成和动画。

现有基于区域的方法来分别对面部五官进行建模，并取得了很好的效果。但是，这些方法基于每个区域内的单独信息，无法利用区域之间的相关性来捕获远程依赖关系。

实际上，面部成分彼此之间具有丰富的相关性。例如，当人们微笑时，眼睛，嘴巴和眉毛通常会变得更弯曲。面部成分之间的相关性是面部表示中的关键线索，在面部解析中应予以考虑。

发明内容

为了解决上述问题，本发明提出了一种用于人脸解析的注意力机制模块和神经网络框架。本发明建议学习面部图像上的不同五官之间的图结构G，该图结构G表示区域之间的关系并实现对非局部区域的推理以捕获远距离依赖性。为了联系面部图像像素和图结构顶点，本发明投影了一个像素集合(“区域”)，其中的像素具有相似的特征。区域中的逐像素特征将聚合到相应顶点的特征中。

具体来说，对于给定的一张人脸图像，本发明首先通过已有的ResNet主干网络对高级和低级特征进行编码后，建立一个投影矩阵将具有相似特征的像素集合映射到图结构中的每个顶点。每个顶点的特征被视为像素特征的加权聚合，其中通过为五官边缘像素的特征分配较大的权重。接下来，本发明通过图卷积学习和推理顶点之间的关系，以进一步提取全局的语义信息。最终，将学习到的特征投影回逐像素的特征图，并根据卷积模块来产生成最后的人脸信息。总体来说，本发明提出通过在对不同像素区域建模到的图结构，来利用区域之间的关系进行人脸解析，其中将投影具有相似特征的像素集合到每个顶点，并推理出这些关系以捕获远距离依存关系。

本发明的技术方案为：

一种基于边缘信息和注意力机制的人脸信息识别方法，其步骤包括：

1)对输入的人脸图像进行特征提取得到该人脸图像的低层特征图；

2)使用多层次池化模块从该低层特征图中提取高层次特征和低层次特征；使用边缘提取模块对该低层特征图进行处理得到边缘二值图像；

3)根据该边缘二值图像对高层次特征和低层次特征分别进行滤波、池化采样，得到投影矩阵，将该人脸图像中具有相似特征的像素集合映射到图结构G中的每个顶点；其中图结构G＝{V,E,W}；V为图结构G上顶点的集合，|V|＝N为图结构G的顶点个数；E为图结构G中边的集合；W为带权邻接矩阵，其中的元素w_i,j是图结构G中连接顶点i与顶点j的边的权重；

4)将该投影矩阵、高层次特征输入图卷积模块进行推理，获得图结构G的节点特征并将其输入反投影模块，得到优化后的高层特征；将该投影矩阵、低层次特征输入图卷积模块进行推理，获得图结构G的节点特征并将其输入反投影模块，得到优化后的低层特征；

5)将优化后的高层特征和低层特征馈送到解码器进行上采样到相同尺度并拼接在一起输入卷积网络；