[发明专利]一种改进基于相关性特征选择的特征过滤方法及装置

权利要求书

1.一种改进基于相关性特征选择的特征过滤方法，其特征在于，包括：

将用于缺陷预测分类任务的N个数据集中类标签的数值类型转换为二元类型；

统计每个特征在原始数据集中的平均占比重率；

统计每个特征经过基础特征选择筛选后在数据集中的平均占比重率；

计算各个特征在原始数据集中的平均占比重率与用特征选择筛选后各个特征的平均占比重率的相似度；

将所述相似度按由大到小的顺序排列，选择所述相似度排名前K个特征作为特征选择结果，完成特征过滤。

2.如权利要求1所述的一种改进基于相关性特征选择的特征过滤方法，其特征在于，还包括：

将所述特征选择结果构成数据集，并根据机器学习算法构建缺陷分类预测模型，采用分类任务的性能评价指标对其性能进行评估。

3.如权利要求1所述的一种改进基于相关性特征选择的特征过滤方法，其特征在于，统计每个特征在原始数据集中的平均占比重率，包括：

统计每个数据集S_i中所有特征的数量，记为M_Si,i＝1,2,…,N；M_Si的最大值为k，0≤k≤N；

计算每个特征在所有原始数据集中所占的比重和，记为Cf_j，计算如公式(1)所示：

其中，i表示当前数据集的索引编号，i＝1,2,…,N；j表示特征索引编号，j＝1,2,…,k；f_j表示数据集中的每个特征；f_ji表示特征j是否出现在数据集i中；f_ji＝1或0，表示出现或不出现；S′_i表示每个数据集；M_Si表示每个数据集中所有特征的数量；

计算每个特征在原始数据集中占有的平均比重率，记为F_j，计算如公式(2)所示：

其中，Cf_j表示每个特征在所有原始数据集中所占的比重和；N表示数据集的数量；S_i表示每个数据集；M_Si表示每个数据集中所有特征的数量；

当某一特征在原始数据集中出现的比重和小于预设阈值，则删除所述某一特征。

4.如权利要求1所述的一种改进基于相关性特征选择的特征过滤方法，其特征在于，统计每个特征经过基础特征选择筛选后在数据集中的平均占比重率，包括：

使用基础特征选择，对所有数据集进行特征过滤，生成数据子集；

统计每个特征在所有数据子集中所占的比重和，如公式(3)所示，并计算选择的所有特征子集的数量均值，如公式(4)所示：

其中，S′_i表示所有数据集经过基础特征选择筛选后剩余的特征子集，i＝1,2,…,N；f′_ji表示特征j是否出现在数据子集S′_i中；f_ji＝1或0，表示出现或不出现；表示表示特征子集的特征数量；表示每个特征在所有数据子集S′_i中所占的比重和；

其中，表示特征子集的大小；N表示数据子集的数量；M0表示所有特征子集的数据的平均值。

计算每个特征在数据子集中的平均占比重率，记为P_j，计算如公式(5)所示：

表示每个特征在所有数据子集S′_i中所占的比重和；N表示数据子集的数量；P_j表示每个特征在数据子集中的平均占比重率。