[发明专利]一种异构数据集特征质量可视化方法

摘要

一种异构数据集特征质量可视化方法，通过对异构的训练集和验证集特征分布进行统计，引入特征离散值的发生率，采用异构方法在极坐标系中对特征集合以及特征类别值集合进行可视化，通过计算类别值的正样本发生率、规范化发生率、漂移比、综合发生率，以漂移比为半径、综合发生率为偏角，在极坐标中绘制特征质量图。根据特征可视化方法帮助解决有监督学习中典型的四个特征工程问题：特征评估、特征归因、特征选择、特征改进。本发明使有监督机器学习模型面对领域迁移学习问题或者同领域但数据分布有趋势性漂移时，能够克服训练集和测试集分布差异问题，进而可以进行有效的特征评估、特征归因、特征选择，甚至通过改善特征以提升模型效果。

主权项

一种异构数据集特征质量可视化方法，其特征在于，至少包括以下步骤：步骤1，给定二分类有标签异构数据集D(A)和D(B)，给定某特征f，构建特征的类别值集合V＝{v1，v2，。。。vN}；步骤2，在异构数据集D(d)中，d为A、B，分别计算整体正样本发生率r(A)和r(B)，计算公式为r(d)＝pos(d)/ins(d)，pos(d)为异构数据集D(d)中的正样本总数、ins(d)为异构数据集D(d)的样本总数；步骤3，在异构数据集D(d)中，d为A、B，对V中的每个类别值v，计算其的正样本发生率r(v，d)，计算公式为r(v，d)＝pos(v，d)/ins(v，d)，其中pos(v，d)、ins(v，d)分别为D(d)中包含v的正样本数量和样本总数；步骤4，在异构数据集D(d)中，d为A、B，对V中的每个类别值v，计算其的规范化发生率sr(v，d)，计算公式为：sr(v，d)＝r(v，d)/r(d)；步骤5，对类别值集合V中的每个类别值v，计算其综合发生率t(v)、漂移比s(v)，计算公式为：t(v)＝sr(v，A)+sr(v，B)，即类别值v在D(A)和D(B)上的规范化发生率求和；s(v)＝sr(v，B)/sr(v，A)，即v在D(A)和D(B)上的规范化发生率求比率；步骤6，对V中的每个类别值v，以综合发生率t(v)为偏角、以漂移比s(v)为半径，将特征类别值绘制于极坐标系中，极坐标p(v)＝(t(v)，s(v))；步骤7，在极坐标系中构造辅助圆，辅助圆半径为1，圆心为原点，构成特征f在同构数据集D上的特征质量图。