[发明专利]一种远红外热成像人脸关键点的定位方法

说明书

本发明公开了一种远红外热成像人脸关键点的定位方法，包括以下步骤：构建数据集、搭建网络模型、制作标签、数据增强与图像预处理、训练模型、模型推理，形成最终的热图。本发明基于深度学习算法，通过全卷积神经网络生成关键点热图，通过热图定位关键点。通过精心设计的网络结构，专门定制的数据增强方法，经过调优的模型优化算法，以及精确标注的数据，形成了整套远红外热成像人脸关键点定位技术。本发明可以实现远红外图像中人脸关键点定位，从而通过关键点定位获得人脸不同区域的温度。

技术领域

本发明涉及一种定位方法，尤其涉及一种远红外热成像人脸关键点的定位方法。

背景技术

传统人脸检测方法如ASM(Active Shape Model)等方法在运行效率与方法的泛化能力都低于先进的深度学习方法。但是红外热像的人脸图像没有成熟的公开数据集，也没有成熟的人脸关键点制定规则，直接采用自然图像中的人脸关键点定位方法难以达到较好的效果。

发明内容

为了解决上述技术所存在的不足之处，本发明提供了一种远红外热成像人脸关键点的定位方法。

为了解决以上技术问题，本发明采用的技术方案是：一种远红外热成像人脸关键点的定位方法，包括以下步骤：

步骤一、构建数据集：通过自有数据构建远红外人脸数据集，自主对图像中人脸关键点进行标注，图像尺寸为384*288像素；

步骤二、搭建网络模型：在深度学习框架Pytorch上搭建基于深度学习的远红外人脸关键点定位网络；基础网络结构为编码器解码器结构，采用两个子网络级联的形式组成整体网络；

步骤三、制作标签：通过在空白图像中不同通道中关键点对应位置放置高斯核形成关键点热图来制作标签，即在空白图像中画高斯核的方式形成回归用的标签，loss函数采用L2Loss；

loss函数：

其中，x代表每个像素，f(x)为网络的输出值，y(x)代表标签真值，N代表公式中求和算式中的x的总数；

高斯核函数：

其中，j_i和k_i代表第i个关键点在图像中的x和y的坐标，σ_x，σ_y分别代表高斯核在x和y方向的标准差；

步骤四、数据增强与图像预处理：

数据增强：训练时对图像做一种或者多种变换，图像变换后标签的真值也会随变换改变，数据增强可以提升模型的泛化能力；

图像预处理：在图像输入网络之前，将图像归一化到0～1之间；

步骤五、训练模型：采用均方误差作为损失函数训练模型，采用Adam优化策略训练关键点定位网络；参数采用Xavier初始化，批次大小设置为64，初始学习率0.001，每迭代50个周期学习率衰减一次，衰减率为0.1，经过200个周期迭代后效果达到最佳；其中，前50个周期采用半径为7个像素放置高斯核作为标签真值，后150个周期采用半径为3个像素放置高斯核作为标签真值；

步骤六、模型推理：模型训练好之后，通过模型推算关键点需要将数据进行步骤四中的图像预处理归一化到0～1之间，将预处理之后的图像送进模型前传生成预测热图Heatmap；取出预测热图中每个通道中最大值所在位置，即为该通道预测关键点所在位置；

p_i＝arg max(Heatmap_i)，

其中，Pi为关键点i的坐标，Heatmap_i为预测热图。

进一步地，步骤一中关键点标注数据为在图中标注左眼，右眼，鼻尖，左嘴角，右嘴角五个关键点的位置。