[发明专利]一种垃圾数据的清理方法

权利要求书

1.一种垃圾数据的清理方法，其特征在于包括以下步骤：

1)在数据处理中心的存储区中按照用户需求大小划分数据存储区和人工干预数据存储区；

2)根据数据存储区的大小读取数据库中的数据，并通过JDBC接口调入到数据处理中心，数据以数据库表的形式存储在数据存储区；

3)数据库表中的数据根据内容设定字段ID，字段ID形成数据源数据库；

4)以字段ID为主体定义数据处理规则，将数据处理规则保存到规则配置库中：

(41)定义字段ID为非法数据，执行错误数据处理；

(42)定义字段ID为重复数据，执行人工数据处理；

5)规则配置库中的数据处理规则生成规则XML文件：

6)定义规则配置库中各数据处理规则的调用顺序、自动扫描循环时间，完成自动扫描调度配置；

7)根据自动扫描调度任务，对数据进行过滤处理，依据数据处理规则执行数据处理，并记录数据执行过程与执行结果：

(71)判断数据为非法数据，按照相应的数据处理规则执行数据处理；

(72)判断数据为重复数据，将重复数据发送至人工干预数据存储区中，对数据进行人工处理；

8)当数据存储区中的数据全部完成数据过滤后，将步骤7)中的数据执行过程与执行结果发送至日志管理中，删除存储区中的数据，执行步骤2)-步骤7)，完成数据库中所有数据的清理；

9)当完成数据库中所有数据的清理，定时器开始工作，定时一段时间后重新对数据库进行垃圾数据清理。

2.根据权利要求1所述的一种垃圾数据的清理方法，其特征在于所述的数据处理规则包括：规则类型、规则与数据源数据库中的字段ID的映射关系、数据处理方式。

3.根据权利要求2所述的一种垃圾数据的清理方法，其特征在于所述的规则与数据源数据库中的字段ID的映射关系为多对多映射关系。

4.根据权利要求2所述的一种垃圾数据的清理方法，其特征在于所述的数据处理方式包括：删除、跳过、人工干预。