[发明专利]人脸活体检测方法、装置、电子设备及存储介质

权利要求书

1.一种人脸活体检测方法，包括：

获取待检测的人脸彩色图像；

将所述人脸彩色图像分别输入预先训练的第一编解码重建模型和第二编解码重建模型，分别得到人脸重建红外图像和人脸重建深度图像；

将所述人脸彩色图像、所述人脸重建红外图像和所述人脸重建深度图像输入预先训练的多模态检测网络模型，得到活体检测结果。

2.根据权利要求1所述的方法，其中，

所述第一编解码重建模型是根据多个第一样本图像集训练的，每个第一样本图像集包括：相互配准的人脸彩色样本图像和人脸红外样本图像；所述第二编解码重建模型是根据多个第二样本图像集训练的，每个第二样本图像集包括：相互配准的人脸彩色样本图像和人脸深度样本图像；

所述多模态检测网络模型是根据多个活体样本图像集和/或多个非活体样本图像集训练的，每个活体样本图像集包括：相互配准的活体人脸彩色图像、活体人脸红外图像、活体人脸深度图像；每个非活体样本图像集包括：相互配准的非活体人脸彩色图像、非活体人脸红外图像、非活体人脸深度图像。

3.根据权利要求1所述的方法，在将所述人脸彩色图像分别输入预先训练的第一编解码重建模型和第二编解码重建模型之前，还包括：

对所述人脸彩色图像进行人脸关键点检测，并基于人脸关键点检测结果进行人脸图像矫正，对矫正后的图像进行归一化处理。

4.根据权利要求2或3任一项所述的方法，还包括，采用如下方式获取人脸彩色样本图像、人脸红外样本图像和人脸深度样本图像：

获取相互配准的初始人脸彩色图像、初始人脸红外图像和初始人脸深度图像；

对所述初始人脸彩色图像进行人脸关键点检测，并基于人脸关键点检测结果进行人脸图像矫正，对矫正后的图像进行归一化处理，得到所述人脸彩色样本图像；

基于所述初始人脸彩色图像的人脸关键点检测结果，分别对所述初始人脸红外图像和所述初始人脸深度图像进行人脸图像矫正，并分别对矫正后的图像进行归一化处理，得到所述人脸红外样本图像和所述人脸深度样本图像。

5.根据权利要求1所述的方法，其中，多模态检测网络模型包括：

卷积层、注意力机制模块、全局平均池化层和全连接层，其中卷积层包括并行的第一子卷积层、第二子卷积层和第三子卷积层；

所述将所述人脸彩色图像、所述人脸重建红外图像和所述人脸重建深度图像输入预先训练的多模态检测网络模型，包括：

分别将所述人脸彩色图像、所述人脸重建红外图像和所述人脸重建深度图像输入所述多模态检测网络模型的第一子卷积层、第二子卷积层和第三子卷积层。

6.一种人脸活体检测装置，包括：

获取模块，用于获取待检测的人脸彩色图像；

重建模块，用于将所述人脸彩色图像分别输入预先训练的第一编解码重建模型和第二编解码重建模型，分别得到人脸重建红外图像和人脸重建深度图像；

检测模块，用于将所述人脸彩色图像、所述人脸重建红外图像和所述人脸重建深度图像输入预先训练的多模态检测网络模型，得到活体检测结果。

7.根据权利要求6所述的装置，其中，

所述第一编解码重建模型是根据多个第一样本图像集训练的，每个第一样本图像集包括：相互配准的人脸彩色样本图像和人脸红外样本图像；所述第二编解码重建模型是根据多个第二样本图像集训练的，每个第二样本图像集包括：相互配准的人脸彩色样本图像和人脸深度样本图像；

所述多模态检测网络模型是根据多个活体样本图像集和/或多个非活体样本图像集训练的，每个活体样本图像集包括：相互配准的活体人脸彩色图像、活体人脸红外图像、活体人脸深度图像；每个非活体样本图像集包括：相互配准的非活体人脸彩色图像、非活体人脸红外图像、非活体人脸深度图像。

8.根据权利要求6所述的装置，还包括：

预处理模块，用于在将所述人脸彩色图像分别输入预先训练的第一编解码重建模型和第二编解码重建模型之前，对所述人脸彩色图像进行人脸关键点检测，并基于人脸关键点检测结果进行人脸图像矫正，对矫正后的图像进行归一化处理。