[发明专利]数据集清洗方法、装置和电子系统

权利要求书

1.一种数据集清洗方法，其特征在于，包括：

获取包含目标对象的图像数据集；所述图像数据集划分为至少一个目录，每个所述目录中的图像对应同一目标对象的身份标识；

将每个所述目录中的图像划分为至少一个类别；其中，每一个所述类别中的图像与该类别中的其余图像之间的相似度的最大值大于预设的第一阈值；

检查每个所述目录中包含图像数量最多的目标类别，剔除所述目录中除所述目标类别之外的其余类别，将每个所述目标类别的图像作为该目标类别对应目录的图像；

对于每个所述目录，分别计算该目录的各个图像的特征对应的均值向量，将该均值向量作为该目录的特征；

基于所述目录的特征间的相似度进行目录合并；

根据合并目录后的图像获得所述目标对象的目标数据集。

2.根据权利要求1所述的方法，其特征在于，获取包含目标对象的图像数据集的步骤，包括：

获取初始图像集；每个所述初始图像集中的初始图像具有对应的身份标识；

将具有相同身份标识的所述初始图像存入同一目录中；

根据所述初始图像中目标对象的置信度和/或人脸框大小对每个目录中的初始图像进行清洗，得到包含目标对象图像数据集。

3.根据权利要求2所述的方法，其特征在于，根据所述初始图像中目标对象的置信度对每个目录中的初始图像进行清洗的步骤，包括：

判断所述初始图像对于所述目标对象的置信度是否大于预设的第二阈值；

如果否，从所述目录中剔除所述初始图像；

如果是，从所述初始图像中提取所述目标对象对应的图像；以提取得到所述图像替换所述初始图像。

4.根据权利要求1所述的方法，其特征在于，将每个所述目录中的图像划分为至少一个类别的步骤，包括：

提取每个所述目录中的每个图像的特征，对于每个所述目录均执行以下操作：

如果所述目录中有多个图像的特征之间的相似度均高于预设的第三阈值，则融合所述多个图像的特征，得到融合后的目标特征和所述目标特征对应的融合图像；

分别将每个最终图像作为一个所述类别，并将所述最终图像对应的特征作为所述类别的特征；其中，所述最终图像包括所述融合图像和/或未融合的图像；

逐一选择每个所述类别，对于选择的所述类别：计算被选择的所述类别与未被选择的所述类别中的特征的第二相似度；如果所述第二相似度的最大值大于所述第一阈值，则将所述被选择的类别合并到所述第二相似度的最大值对应的类别中；

重复执行所述逐一选择每个所述类别，对于选择的所述类别进行类别合并处理的步骤，直至重复的次数达到预设的次数阈值，或者所述目录中的类别的数量变化趋于0。

5.根据权利要求1所述的方法，其特征在于，基于所述目录的特征间的相似度进行目录合并的步骤，包括：

基于所述目录的特征对所述目录进行K均值聚类，得到至少一个簇；每个所述簇包括至少一个所述目录；

计算每个所述簇中的目录与其他目录的特征之间的相似度，按照由大到小的顺序对于每个目录确定对应的相似度排序表；

如果第一目录和第二目录分别处于对方的相似度排序表的预设范围内，并且所述第一目录的特征和所述第二目录的特征的相似度大于预设的第四阈值，将所述第一目录和所述第二目录合并。

6.根据权利要求1所述的方法，其特征在于，在将每个所述目录中的图像划分为至少一个类别的步骤之前，所述方法还包括：

计算所述图像数据集中的图像的模糊度；

从所述图像数据集中剔除所述模糊度小于预设的第五阈值的图像。

7.根据权利要求1所述的方法，其特征在于，根据合并目录后的图像获得所述目标对象的目标数据集的步骤，包括：

基于所述图像数据集中每个目录包括的图像的数量，对所述图像数据集中每个目录设定权重；

根据所述权重进行数据增强处理，获得目标数据集。