[发明专利]基于注意力机制的口罩人脸检测识别与追踪测温方法

权利要求书

1.一种基于注意力机制的口罩人脸检测识别与追踪测温方法，其特征在于，包括以下步骤：

步骤1、训练人脸检测神经网络；

步骤2、对图像中的人脸进行检测分类，输出分类后的人脸图像；

步骤3、对所述分类后的人脸图像进行识别；

步骤4、对所述分类后的人脸图像进行目标追踪和测温；

步骤5、把所述步骤3的识别结果和所述步骤4的测温结果进行汇总，并上传云端进行数据分析和预测。

2.如权利要求1所述的方法，其特征在于，所述步骤1中，包括：

步骤1.1、进行数据采集，将采集的图像标注为4类：正确佩戴口罩、未正确佩戴口罩、未佩戴口罩、以及用手遮挡口鼻类；

步骤1.2、在采集过程中，获取人脸关键点，用口罩及手部生成模拟数据来补充训练数据的不足；

步骤1.3、将采集的数据送入到所述人脸检测神经网络进行训练和推理。

3.如权利要求2所述的方法，其特征在于，所述步骤1.1中，数据采集包括现场采集照片、以及通过网络爬虫获取照片。

4.如权利要求2所述的方法，其特征在于，所述步骤1.2中，采用Dlib获取人脸关键点。

5.如权利要求1所述的方法，其特征在于，所述步骤2中，包括：

步骤2.1、摄像头采集的图像送入所述人脸检测神经网络进行特征提取；

步骤2.2、经过一次二维卷积，批正则化及函数激活，形成特征图；

步骤2.3、随后依次进行残差块堆叠，逐层提取特征图；

步骤2.4、对所述步骤2.3形成的特征图进行三次卷积，分别进行最大池化，将池化结果连接后再进行三次卷积；

步骤2.5、进行四分类，即正确佩戴口罩、未正确佩戴口罩、未佩戴口罩、以及用手遮挡口鼻类。

6.如权利要求5所述的方法，其特征在于，所述步骤2中，包括：

步骤2.6、对于未佩戴口罩、未正确佩戴口罩、用手遮挡口鼻的人进行警告提醒，不允许通过；对于正确佩戴口罩的人脸进入到下一步。

7.如权利要求5所述的方法，其特征在于，所述步骤2.2中，激活函数为Mish。

8.如权利要求1所述的方法，其特征在于，所述步骤3中，包括：

步骤3.1、当接收到所述步骤2输出的分类后的人脸图像后，对接收到的人脸图像做卷积，将其转换成原特征图，接着对所述原特征图进行以下操作：

步骤3.1.1、将特征图按通道进行全局最大池化和全局平均池化；

步骤3.1.2、将池化结果进行连接；

步骤3.1.3、将连接后的结果通道进行卷积降维到一维；

步骤3.1.4、降维后的结果经过激活生成空间注意力特征图并与所述原特征图相乘，为所述原特征图增加空间注意力；

步骤3.2、对所述步骤3.1.4中的注意力特征图进行inception结构堆叠，生成特征向量，再对生成的特征向量进行平均池化；

步骤3.3、通过全连接网络输出人脸特征向量编码；

步骤3.4、进行人脸对比，如果与人脸库中的已有人脸特征向量欧氏距离小于阈值α则认为是同一张人脸，否则认为是不同人脸。

9.如权利要求1所述的方法，其特征在于，所述步骤4中，包括：

步骤4.1、将所述步骤2检测到的人脸用M1表示，下一帧图像整体用M2表示，用深度神经网络进行表观特征抽取，获得M1的特征图和M2的特征图；

步骤4.2、用所述M1的特征图在所述M2的特征图上进行搜索，用度量函数进行所述M1的特征图和所述M2的特征图的距离度量获得分数，分数最高的位置认为是当前帧检测到的人脸在下一帧所在位置；

步骤4.3、将位置信息传递给温度追踪云台，所述云台搭载视觉相机和温度枪，所述云台通过解算调整竖直旋转所述视觉相机的转角和水平电机的俯仰角来追踪人脸所在位置，当追踪稳定后红外测温仪发射红外线，对人脸进行测温。

10.如权利要求1所述的方法，其特征在于，所述步骤5中，包括：

步骤5.1、将识别到的人脸，所测量的体温，测量时间，通过识别测温相机的物联网IOT芯片上传入云端数据库进行保存；

步骤5.2、自动分析体温变化，预测未来数天内的体温趋势，对可能体温超限的情况做出预警。