[发明专利]一种基于注意力机制的人脸关键点检测方法

权利要求书

1.基于多分辨率特征融合和注意力机制的人脸关键点检测方法，其特征在于，包括如下步骤：

步骤(1)：针对一张原始图片，使用数据集提供的人脸检测框对原始图片中的人脸区域进行剪裁，并归一化为256×256×3px，再对归一化后的图像进行数据增强，得到训练样本；

步骤(2)：针对高分辨率通道，使用ResNet18的conv1_x至conv3_x对训练样本进行特征提取，输出一个大小为128×32×32的特征图F；

步骤(3)：针对低分辨率通道，先将训练样本降采样为64×64×3px，再使用ResNet50的conv1_x至conv3_x对降采样后的训练样本进行特征提取，输出一个低精度的关键点热力图M，大小为L×32×32，其中L为关键点的个数；

步骤(4)：将特征图F与低精度的关键点热力图M一同输入到注意力模块中，该模块包含一个具有沙漏结构的特征融合网络，注意力模块的输出H经过一个残差层BottleNeck模块和一个3×3的卷积模块，获得高精度的关键点热力图；

步骤(5)：采用坐标变换，将高精度的关键点热力图转化为关键点坐标，并将提取到的关键点坐标映射回原始图片，完成关键点的检测；

关键点热力图转化为关键点坐标的步骤为：

其中，Δ＝0.25，为热力图中最大值所在位置坐标，为次最大值的坐标位置；

根据下式将映射回原始图片，得到最终坐标

其中(x₁,y₁)和(x₂,y₂)分别为人脸检测框在原始图片上的左上角和右下角的坐标值。

2.如权利要求1所述的基于多分辨率特征融合和注意力机制的人脸关键点检测方法，其特征在于，步骤(1)中的增强方式包括随机旋转、水平翻转、高斯模糊、调整亮度以及调整对比度。

3.如权利要求1所述的基于多分辨率特征融合和注意力机制的人脸关键点检测方法，其特征在于，所述步骤(4)的具有沙漏结构的特征融合网络的融合机制为：

其中，为矩阵连接操作，为对应元素相乘操作；为特征融合网络输入到输出的映射；经过特征映射后，得到特征值范围为-1～1的权重特征图W；在特征融合网络输出层引入tanh激活函数，tanh激活函数即双曲正切函数；H为注意力模块输出的特征图。