[发明专利]基于TensorFlow构建的卷积神经网络热像人脸识别方法及系统

权利要求书

1.一种基于TensorFlow构建的卷积神经网络热像人脸识别方法，其特征在于，包括如下步骤：

步骤S1：注册热像人脸图像以及对应的真实人脸图像并构建人脸数据库；

步骤S2：基于TensorFlow构造卷积神经网络训练出人脸数据库分类模型；

步骤S3：视频设备采集人脸可见光图像和人脸热红外图像；

步骤S4：采集到的图像进行边缘检测算法预处理；

步骤S5：将处理后的图像进行通道叠加生成融合图像；

步骤S6：对融合后的图像进行CNN特征向量提取；

步骤S7：通过人脸数据库分类模型对CNN特征向量进行检索。

2.根据权利要求1所述的一种基于TensorFlow构建的卷积神经网络热像人脸识别方法，其特征在于，所述步骤S3中，人脸可见光图像为三通道图像，人脸热红外图像为单通道图像。

3.根据权利要求1所述的一种基于TensorFlow构建的卷积神经网络热像人脸识别方法，其特征在于，所述步骤S4中，边缘检测算法预处理具体实现步骤如下：

步骤S41：输入采集到的人脸可见光图像和人脸热红外图像；

步骤S42：通过结构边缘检测算法得到边缘图像；

步骤S43：通过NMS算法找到边锋得到相对稀疏的边缘图像；

步骤S44：使用贪心策略对边缘点进行聚合，得到边缘线段组；

步骤S45：计算边缘线段之间的相似度和权重，确定候选框内的轮廓；

步骤S46：计算候选框的评分，并按照高低进行排序；

步骤S47：输出得分最高的候选框。

4.根据权利要求1所述的一种基于TensorFlow构建的卷积神经网络热像人脸识别方法，其特征在于，所述步骤S5中，通道叠加生成融合图像是将三通道可见光图像和单通道红外图像缩放到同一分辨率，将两幅图像分别进行归一化，归一化后的可见光图像作为融合图像的前三个通道，红外图像作为融合图像的第四个通道。

5.根据权利要求1所述的一种基于TensorFlow构建的卷积神经网络热像人脸识别方法，其特征在于，所述步骤S6中，对融合后的边框图像进行维度较小的局部CNN特征向量提取并转换成便于对比的二进制编码；局部特征CNN特征采集图片包括眼睛、眉毛、鼻子、嘴和耳朵，维数较小的CNN特征向量通过在ResNet后衔接一个卷积层。

6.如权利要求1-5任意一所述的一种基于TensorFlow构建的卷积神经网络热像人脸识别系统，其特征在于，包括依次连接的图像采集模块、控制模块、图像预处理模块、图像融合模块、候选区域提取模块、神经网络识别模块、人脸检索模块；

所述图像采集模块包括红外热相机和线阵可见光相机；所述控制模块用于控制图像采集模块对人脸图像进行采集；所述图像预处理模块用于对人脸可见光图像和人脸热红外图像进行边缘化处理；所述图像融合模块用于将得到的边缘图片进行融合；所述候选区域提取模块用于候选区域内的图像进行CNN特征向量提取；所述神经网络识别模块用于向神经网络建立的模型输入CNN特征向量进行识别；所述人脸检索模块用于从人脸数据库检索人脸对应的用户信息。

7.根据权利要求6所述的一种基于TensorFlow构建的卷积神经网络热像人脸识别系统，其特征在于，所述神经网络识别模块分为输入层、隐藏层和输出层；所述输入层包括卷积层、池化层和全连接层；图像输入后，第一个卷积层直接接受像素级别信息，每个一卷积操作只处理一块图像，提取出基础而有效的局部特征，映射出一个新的二维图像，卷积核的映射结果使用非线性的激活函数处理，在对激活结果进行池化操作降低输出参数量，进过多层交叉处理后，再将结果送入到全连接层进行训练，并输出最终结果；所述全连接层对提取的特征进行重新拟合，以减少特征信息的丢失。