[发明专利]用于人脸识别的方法和装置

说明书

公开了用于人脸识别的方法和装置。人脸识别方法包括：对于包含被部分遮挡的人脸的图像检测多个特征点；基于所检测的特征点生成特征点图；基于所检测的特征点生成裁切图像，所述裁切图像包含人脸未被遮挡的区域；利用卷积神经网络针对所述裁切图像提取第一特征；利用有向图神经网络针对所述特征点图提取第二特征；将所述第一特征与所述第二特征联合，以生成所述图像的特征；根据所生成的特征来执行人脸识别。

技术领域

本发明总体上涉及人脸识别，更具体地，涉及针对部分遮挡的人脸进行识别的方法和装置。

背景技术

作为一种身份识别技术，人脸识别目前已经广泛地应用于许多领域，并且在适当的条件下能够达到很高的识别准确率。然而，人脸识别会受到诸如遮挡、光照、表情、距离等因素的干扰，导致准确率下降。尤其是在面部被遮挡的情况下，识别准确率会大大下降。

佩戴口罩的人员可以作为人脸被遮挡的情况的典型示例，这样的人员例如包括在医院工作的医护人员、从事食品加工的人员、从事工业或农业生产的人员等等。特别地，在当前新型冠状病毒肺炎(COVID-19)在全球大范围流行的情形下，大量的普通民众在日常生活中也通常佩戴口罩以避免感染病毒。由于口罩覆盖了很大一部分的面部区域，导致可用于识别的面部信息大大减少，这给人脸识别带来了很大的挑战。

目前，针对佩戴口罩的人脸的识别方法包括：仅利用暴露在外的眼睛区域和前额区域的识别方法；尝试使用生成模型(例如生成对抗网络GAN)来恢复被口罩遮挡的面部区域的方法；使用数据增强方法将口罩添加到训练数据集中以训练识别模型的方法等等。

然而，以上方法存在一些问题。例如，仅使用眼睛区域和前额区域的方法会忽略例如脸部轮廓、鼻尖等的重要信息。使用生成模型恢复被遮挡区域的方法可能会生成不真实的图像纹理，这将给面部识别系统带来新的问题。使用数据增强方法添加口罩的目的是指导面部识别模型忽略口罩，而将注意力集中在可用的面部信息上(例如眼睛、前额、面部轮廓、鼻尖等)。但是，由于添加的口罩占据了很大一部分输入图像并且口罩的轮廓是一个非常强的信号，因此当识别模型尝试将注意力集中在人脸轮廓上时，它可能会干扰训练过程。此外，很难在数据增强中考虑到所有类型的口罩，而这可能会导致在实际应用中由于识别模型从未见过某种口罩而识别失败。

发明内容

在本发明中，提出了一种针对被部分遮挡的人脸(例如佩戴口罩的人脸)的新颖的识别方法。在该方法中，采用了卷积神经网络(CNN)和有向图神经网络(DGNN)的组合作为骨干模型，以最大程度地利用包括眼睛区域、前额区域、面部轮廓和鼻尖的可用信息。

根据本发明的一个方面，提供了一种人脸识别方法，包括：对于包含被部分遮挡的人脸的图像检测多个特征点；基于所检测的特征点生成特征点图；基于所检测的特征点生成裁切图像，所述裁切图像包含人脸未被遮挡的区域；利用卷积神经网络针对所述裁切图像提取第一特征；利用有向图神经网络针对所述特征点图提取第二特征；将所述第一特征与所述第二特征联合，以生成所述图像的特征；根据所生成的特征来执行人脸识别。

根据本发明的另一个方面，提供了一种用于执行人脸识别的装置，包括存储有程序的存储器以及一个或多个处理器。处理器通过执行所述程序而执行以下操作：对于包含被部分遮挡的人脸的图像检测多个特征点；基于所检测的特征点生成特征点图；基于所检测的特征点生成裁切图像，所述裁切图像包含人脸未被遮挡的区域；利用卷积神经网络针对所述裁切图像提取第一特征；利用有向图神经网络针对所述特征点图提取第二特征；将所述第一特征与所述第二特征联合，以生成所述图像的特征；根据所生成的特征来执行人脸识别。