[发明专利]一种海量数据清洗方法及装置

权利要求书

1.一种海量数据清洗方法，其特征在于，所述数据清洗方法包括步骤：

(1)配置数据清洗规则文件；

(2)根据数据清洗规则文件，生成数据清洗代码；

(3)执行数据清洗代码，为待清洗的数据打上标签；

(4)解析标签，对脏数据进行清洗。

2.如权利要求1所述的数据清洗方法，其特征在于，所述数据清洗规则文件包括至少一条数据清洗规则，所述数据清洗规则包括数据表名，数据清洗规则伪代码和规则序号。

3.如权利要求2所述的数据清洗方法，其特征在于，所述步骤(2)进一步包括步骤：

(2.1)从所述数据清洗规则文件中获取待清洗数据表的表名对应的数据清洗规则，生成临时文件；

(2.2)读取所述临时文件的第一条数据清洗规则，将该数据清洗规则中的数据清洗规则伪代码作为条件判断的条件部分，生成针对该数据清洗规则的清洗代码；

(2.3)遍历所述临时文件中所有的数据清洗规则，为每一条数据清洗规则生成对应的清洗代码，组合成完整的待清洗数据表的清洗代码。

4.如权利要求2所述的数据清洗方法，其特征在于，步骤(3)进一步包括步骤：

(3.1)读取待清洗数据表中的一条数据，为所述数据设置初始标签值；

(3.2)所述数据每触发一条数据清洗规则，则将其标签值增加2n，其中n为该数据清洗规则的规则序号；

(3.3)遍历待清洗数据表的表名对应的每一个数据清洗规则；

(3.4)读取待清洗数据表中下一条数据，重复步骤(3.1)至步骤(3，3)，遍历待清洗数据表中的每一条数据，为每一条待清洗数据打上标签。

5.如权利要求4所述的数据清洗方法，其特征在于，所述步骤(4)中解析标签包括：

将标签值与2ⁿ分别做与运算，如果得到的结果为2ⁿ其本身，则说明该标签值对应的数据触发了n对应的数据清洗规则，否则未触发n对应的数据清洗规则，n为该数据清洗规则的规则序号。

6.一种海量数据清洗装置，其特征在于，所述海量数据清洗装置包括：

数据规则模块，用于配置数据清洗规则文件；

数据清洗代码生成模块，用于根据待清洗数据表和其对应的数据清洗规则，生成数据清洗代码；

执行模块，用于执行数据清洗代码，为待清洗的数据打上标签；

和解析模块，用于解析标签，对脏数据进行清洗。

7.如权利要求6所述的海量数据清洗装置，其特征在于，所述数据清洗代码生成模块还包括数据清洗规则抽取单元，用于从所述数据清洗规则文件中获取待清洗数据表的表名对应的数据清洗规则。

8.如权利要求6所述的海量数据清洗装置，其特征在于，所述执行模块还包括：

待清洗数据读取单元，用于从待清洗数据表中逐条读入待清洗数据；

初始标签设置单元，用于为读入的待清洗数据设置初始标签；

数据清洗规则匹配单元，用于逐条匹配数据清洗规则；

标签重置单元，用于根据匹配结果，重置待清洗数据的标签，待清洗数据每触发一条数据清洗规则，则将其标签值增加2ⁿ，其中n为该数据清洗规则的规则序号。

9.如权利要求8所述的海量数据清洗装置，其特征在于，所述解析模块用于将标签值与2ⁿ分别做与运算，如果得到的结果为2ⁿ其本身，则说明该标签值对应的数据触发了n对应的数据清洗规则，否则未触发n对应的数据清洗规则，n为该数据清洗规则的规则序号。