[发明专利]人脸图像数据库的数据去重方法与系统

权利要求书

1.一种人脸图像数据库的数据去重方法，其特征在于，包括以下步骤：

步骤1、提供一用于训练人脸识别的数据集，所述数据集内包括多个照片，照片按照人进行存储，对应N个人的N个目录，每个目录中包含M张照片，N和M均为大于1的正整数；

步骤2、遍历数据集的目录，对对应照片提取人脸特征，并保存到文本文件中；

步骤3、从1-N的顺序遍历全部的目录，每次从一个目录中随机选择P张照片，将这P张照片分别和剩下的N-1个目录下的全部照片进行比对，得到比对的前Y张，同预先配置的第一分数阈值进行比较，如果存在前Y张至M张的分数超过预先配置的第一分数阈值，则设置其为疑似重复照片，将其拷贝到Result结果目录中，并且按照当前照片所在的目录存储，P≤M，Y≤M；

步骤4、在步骤3执行完后，所有疑似重复照片都保存在Result结果目录下，判断Result结果目录下的照片数量是否超过设定阈值，如果超过，则更新所述第一分数阈值，重复执行步骤3；如果不超过设定阈值，则进入步骤5；

步骤5、对Result结果目录中的疑似重复照片进行审核确认，检验挑选出的疑似重复照片是否真的是重复照片，并对误检的照片进行删除操作，正确的照片保留；

步骤6、根据Result结果目录中保留下来的照片，将原先的数据集重新整理：遍历Result结果目录下的全部文件，对文件名进行解析，获取到相应的原始照片路径，目标照片路径，将原始照片路径拷贝到目标照片路径下，如果存在相同的文件名照片，则更新照片名称，最后删除原始照片。

2.根据权利要求1所述的人脸图像数据库的数据去重方法，其特征在于，所述步骤2中，文本文件按照每行路径名+特征值数组保存。

3.根据权利要求1所述的人脸图像数据库的数据去重方法，其特征在于，所述步骤3中，文件的名称按照源文件名___疑似重复文件路径名___比对分数.jpg方式保存。

4.根据权利要求1所述的人脸图像数据库的数据去重方法，其特征在于，所述步骤4中，第一分数阈值的更新方式按照人脸识别模型的ROC曲线提供的推荐分数，并结合当前数据集比对疑似重复照片的结果进行增减，当生成的疑似重复照片超过设定阈值时，增大第一分数阈值，生成的疑似重复照片数量为零或者远小于设定阈值时，减小第一分数阈值。

5.根据权利要求1-4中任意一项所述的人脸图像数据库的数据去重方法，其特征在于，所述方法还包括以下步骤：

修改前述选取的照片参数P，重复Q次上述步骤2-6，得到最终去重后的数据集。

6.根据权利要求5所述的人脸图像数据库的数据去重方法，其特征在于，所述参数Q，Q≥3。

7.根据权利要求1所述的人脸图像数据库的数据去重方法，其特征在于，所述步骤3中，所述参数Y表示比对总数的前多少张，且Y≥3。