[发明专利]一种异构数据集特征质量可视化方法

权利要求书

1.一种异构数据集特征质量可视化方法，其特征在于，至少包括以下步骤：

步骤1，给定二分类有标签异构数据集D(A)和D(B)，给定某特征f，构建特征的类 别值集合V＝{v1，v2，。。。vN}；

步骤2，在异构数据集D(d)中，d为A、B，分别计算整体正样本发生率r(A)和r(B)， 计算公式为r(d)＝pos(d)/ins(d)，pos(d)为异构数据集D(d)中的正样本总数、 ins(d)为异构数据集D(d)的样本总数；

步骤3，在异构数据集D(d)中，d为A、B，对V中的每个类别值v，计算其的正样本发 生率r(v，d)，计算公式为r(v，d)＝pos(v，d)/ins(v，d)，其中pos(v，d)、 ins(v，d)分别为D(d)中包含v的正样本数量和样本总数；

步骤4，在异构数据集D(d)中，d为A、B，对V中的每个类别值v，计算其的规范化发 生率sr(v，d)，计算公式为：sr(v，d)＝r(v，d)/r(d)；

步骤5，对类别值集合V中的每个类别值v，计算其综合发生率t(v)、漂移比s(v)， 计算公式为：t(v)＝sr(v，A)+sr(v，B)，即类别值v在D(A)和D(B)上的规范化 发生率求和；s(v)＝sr(v，B)/sr(v，A)，即v在D(A)和D(B)上的规范化发生率 求比率；

步骤6，对V中的每个类别值v，以综合发生率t(v)为偏角、以漂移比s(v)为半径， 将特征类别值绘制于极坐标系中，极坐标p(v)＝(t(v)，s(v))；

步骤7，在极坐标系中构造辅助圆，辅助圆半径为1，圆心为原点，构成特征f在同构 数据集D上的特征质量图。

2.根据权利要求1所述的一种异构数据集特征质量可视化方法，其特征在于，所述步骤1中， “构建特征的类别值集合”的方法为：

步骤1.1，判断特征f是否为数值特征，若是，则将特征f采用公式int(log2(c))离散 化成类别值，其中c为特征f的特征值，int表示取整，log2表示以2为底取对数，进而在 给定数据集上可以得到类别值集合为V0；若不是，则执行步骤1.2；

步骤1.2，设置一阀值，将样本数量少于此阀值的类别值归为一个类别值中，将类别值集 合为V0转化为特征类别值集合V。

3.根据权利要求1所述的一种异构数据集特征质量可视化方法，其特征在于，其特征评估流 程至少包括以下步骤：

步骤1，对异构数据集D，给定特征集合F，需要选择的特征数量N。

步骤2，计算特征集合F中每个特征在可视化过程中的各项指标数据，包括发生率、规范 化发生率、漂移比、综合发生率，构成指标集M；并绘制特征集合F中的每个特征的特征质量 图，构成图形集G。

步骤3，根据指标集M和图形集G，对特征集合F中的特征的稳定性和相关度进行评估， 得到特征评估结论。

步骤4，根据指标集M和图形集G，判断预测模型的效果瓶颈是特征稳定度还是特征相 关度，得到特征归因结论。

步骤5，根据指标集M和图形集G，从特征集合F中选择出来前N个质量好的特征，构 成特征选择结果集。

步骤6，根据指标集M和图形集G，对特征集合中部分相关度好、类别值多但稳定性差的 特征进行特征改进，采用将具有相近综合发生率的类别值进行聚类，使整体类别数量减少的 同时，提高特征整体稳定性，形成特征改建议。

步骤7，综合特征评估结论、特征归因结论、特征选择结果集、特征改建议构成特征评估 报告。