[发明专利]一种人脸口罩佩戴状态下的识别方法

权利要求书

1.一种人脸口罩佩戴状态下的识别方法，其特征在于，具体实现过程包括以下步骤：

步骤一：对通过公开的包含佩戴口罩的人脸图像数据集以及自行使用图像采集设备拍摄获得的人脸图像做预处理构建初步人脸图像数据集；

步骤二：对初步构建的人脸图像数据集中自行采集的人脸图像使用Labelimg工具手动标注，保存带有口罩标签的图像和标签信息文件；

步骤三：将处理后的图像输入改进的YOLO V4网络进行训练，若检测出口罩则输出检测结果；

步骤四：对步骤一构建的数据集内处的图像进行改进边缘检测，运用区域分割的思想去除包含口罩的下半部分轮廓图像获取局部轮廓图像；

步骤五：对步骤四获得的局部轮廓图像提取轮廓特征，识别阶段通过初筛的进入候选目标库，为后续精确识别做准备；

步骤六：将步骤四获得的局部轮廓图像坐标信息与步骤一构建的数据集内的图像结合获取局部人脸图像，对其提取尺度不变特征，并结合主成分分析降维处理，保存输出特征点特征信息至对应数据库内，识别阶段对通过步骤五筛选后的候选目标库内选择对象提取特征；

步骤七：输入目标人脸图像，完成口罩佩戴检测，对通过步骤五轮廓特征初筛的对象用步骤六的提取特征方法，将输出特征向量信息与数据库内信息进行匹配并最终输出识别结果。

2.根据权利要求1所述的一种人脸口罩佩戴状态下的识别方法，其特征在于，在所述步骤一中，对人脸图像做预处理，具体预处理操作为：在公开的包含佩戴口罩的人脸图像数据集中选取人脸姿态端正的图像，在保证人脸位置相对端正的前提下自行使用图像采集设备拍摄获取相关图像，对这些选取后的图片进行包括去噪、图像信息增强、尺寸归一化、旋转操作，最终构建的初步人脸图像数据集为包含多个用户多张佩戴口罩以及无佩戴口罩人脸图片。

3.根据权利要求1所述的一种人脸口罩佩戴状态下的识别方法，其特征在于，在所述步骤三中，改进了YOLO V4网络对数据库内人脸图像进行训练，其中使用深度卷积模块改进了主干特征提取网络，具体方法为：首先对输入的特征层进行1*1的卷积，BatchNorm标准化和Swish激活函数激活进行升维操作，接着对升维后的特征层进行深度可分离卷积，卷积核大小为3×3或5×5，通过深度可分离卷积使特征层语义信息更加丰富，最后进行1×1的卷积BatchNorm标准化和Swish激活进行降维，输出特征层，输入大小为x*y的图片，最终根据P6，P7，P8输出的三个尺度的特征向量输出口罩佩戴的结果，z为最后输出的通道数。

4.根据权利要求1所述的一种人脸口罩佩戴状态下的识别方法，其特征在于，在所述步骤四中，对步骤一构建的数据集内处的图像进行改进边缘检测，具体方法为：在传统的Canny边缘检测算法中融入数学形态学技术，选用尺度大小分别为3*3和5*5的椭圆结构元素，结构元素b1是小尺度，结构元素b2尺度较大，对原图像先进行一次闭运算，再进行一次开运算，I＝f·b2·b1，其中I为输出图像，f为初步数据集内人脸图像。

5.根据权利要求1所述的一种人脸口罩佩戴状态下的识别方法，其特征在于，在所述步骤四中，运用区域分割的思想去除包含口罩的下半部分轮廓图像获取局部轮廓图像，具体方法为：通过改进边缘检测获得图像的二值轮廓，对其进行均值滤波平滑处理后调用opencv库内findContours函数找到边缘以及rectangle函数创建包围轮廓的矩形框，对于输出的多个矩形框，选择图像像素坐标系内横向像素距离差最大或者矩形框中心点纵向像素位置最低的矩形框，判别该矩形框为包含口罩轮廓的矩形框，以该矩形框纵向坐标为基准，去除以下半部分的轮廓图像获得局部轮廓图像。