[发明专利]一种基于多模态数据的静默活体检测方法

说明书

本发明公开了一种基于多模态数据的静默活体检测方法，包括：(1)利用传感器采集人脸RGB图像、红外图像和深度图像，抠出三种原始图像中人脸区域图；(2)建立特征提取网络，利用特征提取网络对步骤1中人脸区域图进行特征提取，得到RGB图像、红外图像和深度图像的卷积特征图；(3)将步骤2中三个卷积特征图利用深度神经网络进行数据层面的融合，得到多模态融合特征图；(4)利用深度神经网络提取多模态融合特征图的特征向量；(5)对特征向量进行处理，输出活体分类的结果。本发明利用RGB图像、深度图像和红外图像三种模态数据对人脸进行活体检测，提高活体判别精度；将不同硬件的信息融合后提升活体判别效果。

技术领域

本发明涉及活体检测方法，特别涉及一种基于多模态数据的静默活体检测方法。

背景技术

活体检测是在一些身份验证场景确定对象真实生理特征的方法，可以有效抵御照片、换脸、面具、遮挡以及屏幕翻拍等常见的攻击手段，从而帮助用户甄别欺诈行为，保障用户的利益。静默活体检测只需要求用户实时拍摄一张照片或一段人脸视频，就可以进行真人活体校验。

现有的静默活体检测方法多是基于单一模态数据情况下进行，没有考虑不同模态数据之间的表征差异，致使检测精度较低；即使在使用多模态数据时，也只是针对不同传感器获得的图像数据做简单的叠加处理，忽略了活体数据在不同传感器之间的关联性，没有将不同的图像数据进行数据层的融合，进而降低了活体检测的精度。

发明内容

发明目的：针对以上问题，本发明目的是提供一种基于多模态数据的静默活体检测方法，考虑了RGB图像、红外图像及深度图像三个模态数据，提高活体检测精度。

技术方案：本发明的一种基于多模态数据的静默活体检测方法，包括：

(1)利用传感器采集人脸RGB图像、红外图像和深度图像，抠出三种原始图像中人脸区域图；

(2)建立特征提取网络，特征提取网络包括卷积层，利用特征提取网络对步骤1中人脸区域图进行特征提取，得到RGB图像、红外图像和深度图像的卷积特征图；

(3)将步骤2中三个卷积特征图利用深度神经网络进行数据层面的融合，得到多模态融合特征图；

(4)利用深度神经网络提取多模态融合特征图的特征向量；

(5)对步骤4的特征向量进行处理，输出活体分类的结果，包括活体和非活体。

进一步，步骤1进行人脸区域抠图后分别对三种人脸区域图进行仿射变换。

进一步，步骤2特征提取网络包括4个卷积层，每个卷积层使用激活函数，4个卷积层依次对每个模态数据进行处理。

进一步，步骤4包括：先将多模态融合特征图输入第一全连接层，得到第一全连接层特征向量；再将第一全连接层特征向量输入到第二全连接层，得到第二全连接层特征向量。

进一步，步骤5利用分类算法函数对第二全连接层特征向量进行分类，得出二元分类结果，输出值为0或1，对输出值进行判断，如果为0，则检测结果为非活体；如果为1，则检测结果为活体。

有益效果：本发明与现有技术相比，其显著优点是：本发明利用RGB图像、深度图像和红外图像三种模态数据对人脸进行活体检测，提高活体判别精度；利用多模态数据进行活体判别，将不同硬件的信息融合后提升活体判别效果。

附图说明

图1为特征提取网络示意图；

图2为多模态数据融合和处理流程图。

具体实施方式

本实施例所述的一种基于多模态数据的静默活体检测方法，包括：

(1)利用传感器采集人脸RGB图像、红外图像和深度图像，抠出三种原始图像中人脸区域图；