[发明专利]一种基于孤立点挖掘的Hadoop数据清洗方法及系统

权利要求书

1.一种基于孤立点挖掘的Hadoop数据清洗方法，其特征在于，包括以下步骤：

S1、将各种异构数据源的数据加载到Hadoop分布式文件系统中；

S2、对Hadoop分布式文件系统的数据进行预处理：拉取Hadoop分布式文件系统的待清洗数据，并挖掘出待清洗数据中属性异常的孤立点，记孤立点个数为N；

S3、判断S2得到的孤立点是否满足清洗规则，并对满足清洗规则的孤立点进行清洗，具体包括以下三种情况：

S31、若N个孤立点都满足清洗规则，则根据清洗规则对N个孤立点全部进行数据清洗，并将数据清洗后的数据写回Hadoop分布式文件系统中，并返回步骤S2；

S32、若N个孤立点中只有R个孤立点满足清洗规则，则根据清洗规则对R个孤立点进行数据清洗，并将数据清洗后的数据写回Hadoop分布式文件系统中，结束清洗过程，其中，1<R<N；

S33、若N个孤立点均不满足清洗规则，则无需进行数据清洗操作，直接结束本次数据清洗过程；

S4、输出S3数据清洗之后的数据。

2.根据权利要求1所述的Hadoop数据清洗方法，其特征在于，所述的步骤S2中，挖掘待清洗数据中属性异常的孤立点的方法为：采用K近邻算法计算Hadoop分布式文件系统中每个点的第K近邻的距离Dk(p)，并按照从大到小的顺序对所有的Dk(p)进行排列，选取前N个点作为孤立点；所述的N的值为：历史清除的孤立点的个数的平均值。

3.根据权利要求2所述的Hadoop数据清洗方法，其特征在于，所述的步骤S3中的清洗规则为：设定一个初始值MaxDistance，判断该孤立点的Dk(p)是否大于初始值MaxDistance，若大于，则删除该点，完成清洗。

4.一种基于孤立点挖掘的Hadoop数据清洗系统，其特征在于，包括以下模块：

数据加载模块：用于将各种异构数据源的数据加载到Hadoop分布式文件系统；

分布式孤立点挖掘算法模块：包括数据清洗引擎模块，用于根据输入参数挖掘出属性异常的孤立点；

数据清洗模块：对属性异常的孤立点进行数据清洗；

结果存储模块：存储数据清洗结果。