[发明专利]数据预处理方法及装置

权利要求书

1.一种数据预处理方法，其特征在于，所述方法包括：

对收集到的样本数据进行特征分类，并确定所述样本数据的特征类型数量和特征整体缺失率；

对所述样本数据中各特征类别的样本数据进行特征探索和异常检测，确定各特征类别的样本数据的特征分布、特征空值率、特征相关关系以及异常样本；

根据所述样本数据的特征类型数量和所述特征整体缺失率以及各特征类别的样本数据的特征分布、特征空值率、特征相关关系、样本聚类结果中的至少一种，生成所述样本数据的数据探索综述、数据探索结果报告和异常检测结果报告。

2.根据权利要求1所述的数据预处理方法，其特征在于，所述根据所述样本数据的特征类型数量和所述特征整体缺失率以及各特征类别的样本数据的特征分布、特征空值率、特征相关关系、样本聚类结果中的至少一种，生成所述样本数据的数据探索综述和数据探索结果报告，包括：

根据所述样本数据的特征类型数量确定数据探索综述中的样本数据概述信息；

对特征类别为连续型单变量特征、离散型特征以及日期型特征的样本数据探索结果进行变量遍历输出，确定数据探索结果报告中的特征分布信息和特征空值率信息；

计算特征类别为连续型多变量特征的样本数据的两两相关系数，确定数据探索结果报告中的特征相关关系信息。

3.根据权利要求2所述的数据预处理方法，其特征在于，所述对特征类别为连续型单变量特征的样本数据探索结果进行变量遍历输出，确定数据探索结果报告中的特征分布信息和特征空值率信息，包括：

对特征类别为连续型单变量特征的样本数据探索结果进行变量遍历输出，确定数据探索结果报告中的空值个数、空值率、负值个数、0值个数、正值个数、峰度、偏度、平均值、标准差、四分位数、最大值、最小值、变量频数分布直方图以及核密度曲线。

4.根据权利要求2所述的数据预处理方法，其特征在于，所述对特征类别为离散型特征的样本数据探索结果进行变量遍历输出，确定数据探索结果报告中的特征分布信息和特征空值率信息，包括：

对特征类别为离散型特征的样本数据探索结果进行变量遍历输出，确定数据探索结果报告中的类别数、空值数、空值率、频数最大的类别和其频数占比以及类别频数分布条形图。

5.根据权利要求2所述的数据预处理方法，其特征在于，所述对特征类别为日期型特征的样本数据探索结果进行变量遍历输出，确定数据探索结果报告中的特征分布信息和特征空值率信息，包括：

对特征类别为日期型特征的样本数据探索结果进行变量遍历输出，确定数据探索结果报告中的空值数、空值率、首次时间、末次时间、四分位日期以及按日期分布输出频数分布。

6.根据权利要求1所述的数据预处理方法，其特征在于，所述根据所述样本数据的特征类型数量和所述特征整体缺失率以及各特征类别的样本数据的特征分布、特征空值率、特征相关关系、样本聚类结果中的至少一种，生成所述样本数据的异常检测结果报告，包括：

根据所述样本数据的特征整体缺失率中缺失比例大于阈值的各特征及对应的缺失数值，确定异常检测结果报告中的整体缺失统计信息；

进行特征探索并确定异常特征，根据所述异常特征确定所述异常检测结果报告中的异常特征清单；

根据预设聚类算法确定所述样本数据中的低数据量异常样本数据，根据所述低数据量异常样本数据确定异常检测结果报告中的异常样本清单。

7.根据权利要求6所述的数据预处理方法，其特征在于，所述根据预设聚类算法确定所述样本数据中的低数据量异常样本数据，还包括：

根据样本数据的数据体量是否超过预设数据体量阈值，确定对应的聚类算法。