[发明专利]基于深度学习的仿生机器孔雀图像识别方法

权利要求书

1.基于深度学习的仿生机器孔雀的图像识别方法，其特征在于，包括以下步骤：

S1、采集公开的人脸检测数据库作为训练和验证的图像数据集；

S2、设计基于卷积神经网络的深度学习架构，在深度学习架构内实现人脸检测功能；

S3、采集仿生机器孔雀摄像头所拍摄到的现场图像对训练好的卷积神经网网进行微调；

S4、根据步骤S3中微调后的深度学习架构进行测试，实现室内复杂环境下的人脸检测功能；

S5、根据步骤S4得到的人脸框定位和摄像头距离观众的位置关系，得到经验参数以确定观众的着装定位，并统计各种颜色所占的相应比重。

2.如权利要求1所述的图像识别方法，其特征在于，所述步骤S1具体包括以下步骤：

S11、人脸检测数据库，选取公开Wider_face数据集和Celeba_face数据集作为人脸检测的训练样本；将图像数据集中原始图像归一化到一个统一的尺寸；

Wider_face数据集和Celeba_face数据集中提供了大量的人脸检测数据，并在图中提供了人脸框的位置信息；

S12、随机的对人脸图像选取边框，并计算选取边框与真实边框的重复度IOU；

S13、将人脸检测数据分为三类，分别是人脸正样本、人脸负样本、人脸部分样本，其占比重为1：3：1；

S14、将训练样本生成文件路径，并做好与之对应的标签，标签内容包括正、负样本标签以及随机生成边框和真实边框的偏移值。

3.如权利要求2所述的图像识别方法，其特征在于，所述步骤S12中，IOU＞0.65为人脸正样本，IOU＜0.4为人脸负样本；在0.4≤IOU≤0.65之间为人脸部分样本。

4.如权利要求1所述的图像识别方法，其特征在于，所述深度学习架构具体如下：

深度学习架构由三个卷积神经网络级联组成，三个卷积神经网络分别为第一卷积神经网络PNet，第二卷积神经网络RNet和第三卷积神经网络ONet；

第一卷积神经网络PNet在训练阶段的输入尺寸为12*12*3的图像块，第一卷积神经网络PNet为三层全卷积网络，不包含全连接层；

第二卷积神经网络RNet输入尺寸为24*24*3的图像块，为四层卷积网路包含三个卷积层和一个全连接层；

第三卷积神经网络ONet的输入尺寸48*48*3的图像块；为四层卷积网路包含三个卷积层和一个全连接层；

首先将训练样本送入第一卷积神经网络PNet，其输出分别为样本的类别，即人脸正、负样本和人脸定位的预测值；

第二卷积神经网络RNet用来细化PNet网络的输出结果；

第三卷积神经网络ONet用来细化RNet网络的输出结果，输出分别为样本的类别，人脸定位的预测值和人脸关键点的预测值。

5.如权利要求4所述的图像识别方法，其特征在于，所述步骤S3具体包括以下步骤：

S31、选取仿生机器孔雀现场所收集到的包括观众和不包括观众的多张图像分为训练样本和测试样本；选取训练样本中的图像取随机框获得人脸正样本、人脸负样本、和人脸部分样本；

S32、将确定好的训练样本和标签送入深度学习架构，对于深度学习架构中三个卷积神经网络的参数进行微调。

6.如权利要求5所述的图像识别方法，其特征在于，所述步骤S4具体包括以下步骤：

S41、将测试样本送入第一卷积神经网络PNet，获取候选人脸框以及每个人脸对应的四个点坐标；

S42、将第一卷积神经网络PNet获取并输出的候选人脸框送入第二卷积神经网络RNet，对候选人脸框进行细化筛选并进行非极大值抑制，去除误检；

S43、将第二卷积神经网络RNet筛选并输出结果送入第三卷积神经网络ONet，用于进一步对候选人脸框进行细化筛选，去除误检，最后得到人脸检测结果，包括人脸框定位和摄像头距离观众的位置关系。

7.如权利要求1所述的图像识别方法，其特征在于，所述步骤S5具体包括以下步骤：

S51、根据摄像头多次测量和标定，选取着装候选框在图像中的定位为1.8个人脸框的偏移，着装候选框的大小为2个人脸框；

S52、设定的参与统计比重的颜色有红、黄、蓝、绿、紫、白、黑、灰，根据选取的着装候选框统计各种颜色所占的相应比重。