[发明专利]一种数据集样本的筛选方法及系统

权利要求书

1.一种数据集样本的筛选方法，其特征在于，所述方法包括以下步骤：

步骤1，对所述数据集进行多维度提取，并针对每一维度对所述数据集中的所有样本进行异常值筛选；

步骤2，对所述数据集中的所有样本进行排序，并基于排序结果获得优选数据集；

步骤3，计算所述优选数据集中每一样本的异常频次，并基于预设标准对所述数据集样本进行筛选。

2.根据权利要求1中所述的一种数据集样本的筛选方法，其特征在于：

所述步骤1中，

所述数据集实现多维度提取后，所述维度N≥3；

所述维度N是基于所述数据集所有样本的相同列名实现提取的。

3.根据权利要求2中所述的一种数据集样本的筛选方法，其特征在于：

所述异常值筛选方法为箱线图离群值筛选方法或二八定律方法。

4.根据权利要求3中所述的一种数据集样本的筛选方法，其特征在于：

所述步骤2中，

所述排序方法为主成分分析法和熵权法。

5.根据权利要求4中所述的一种数据集样本的筛选方法，其特征在于：

所述优选数据集的获取方式为：

从所述排序结果中选取前20％的样本；

或者，从所述排序结果中选取后20％的样本；

或者，基于专家意见选取样本。

6.根据权利要求5中所述的一种数据集样本的筛选方法，其特征在于：

所述步骤3中，

所述优选数据集中每一样本的异常频次的计算方法为：

步骤3.1，基于所述步骤1中获取的每一维度中所有样本的异常值[Z₁，Z₂，…，Z_n，…，Z_N]和所述步骤2中获取的优选数据集P计算每一个维度n下优选数据集的异常值[E₁，E₂，…，E_n，…，E_N]，其中n＝1,2,…,N；

步骤3.2，对于所有不同维度下的异常值E_n取并集，获得普通异常样本集；

步骤3.3，对于所有不同维度下的异常值E_n取交集，获得重点异常样本集。

7.根据权利要求6中所述的一种数据集样本的筛选方法，其特征在于：

所述步骤3.3中，

基于预设标准中规定的异常值频次M，选取与所述规定的异常值频次M数量相等的维度数，并对所述维度数下的多个异常值取交集，以获得重点异常样本集。

8.根据权利要求7中所述的一种数据集样本的筛选方法，其特征在于：

所述对所述维度数下的多个异常值取交集的方法为从N个维度中选择任意M个维度，并基于次选取分别对于所有不同维度下的异常值E_n取交集；

所述交集中包括的样本即为所述重点异常样本集中的样本。

9.根据权利要求8中所述的一种数据集样本的筛选方法，其特征在于：

所述预设标准基于所述数据集样本的筛选需求生成所述规定的异常值频次。

10.一种数据集样本的筛选装置，其特征在于：

所述装置包括处理器，

所述处理器用于实现如权利要求1-9任意一项中所述的一种数据集样本筛选方法。