[发明专利]一种垃圾数据的清理方法

说明书

技术领域

本发明涉及计算机领域的信息维护技术，尤其涉及一种垃圾数据的清理方法。

背景技术

计算机在运行过程中，需要调用、执行大量的应用数据，有些应用数据在被执行后，或被储存、或被删除。

随着计算机技术的发展，应用信息的种类越来越多，存储在数据库中的数据也越来越多，但是由于容量的限制，数据库存储数据不能无限制，而且当数据库的数据量达到一定量时，很可能导致计算机工作效率下降，影响工作进程。一般通过手工进行数据删除，操作者对一些不需要的或者错误的数据进行手动删除；还有的方法是通过老化机制，对一些不需要的或者使用频率较低的数据定期进行老化删除，从而对数据库进行清理预留出存储空间。

但是手工进行数据删除往往要求操作者对数据库有较高的认识，能够分辨出哪些是垃圾数据，哪些是正常数据，操作者需要时常对数据库数据进行检查校对，工作繁琐且效率较低；而通过老化机制对一些不需要的或者使用频率较低的数据定期进行老化删除，则不能及时、完全地识别出哪些是因输入错误、恶意录入、重复存储导致的垃圾数据，数据库垃圾数据的排查工作效率低。

发明内容

本发明为克服上述的不足之处，目的在于提供一种垃圾数据的清理方法，通过建立垃圾数据清理规则体系，能够快速从数据源中检测错误数据和重复数据，从而高效、准确删除错误的数据与重复数据。

本发明是通过以下技术方案达到上述目的：一种垃圾数据的清理方法，包括以下步骤：

1)在数据处理中心的存储区中按照用户需求大小划分数据存储区和人工干预数据存储区； 

2)根据数据存储区的大小读取数据库中的数据，并通过JDBC接口调入到数据处理中心，数据以数据库表的形式存储在数据存储区；3)数据库表中的数据根据内容设定字段ID，字段ID形成数据源数据库；

4)以字段ID为主体定义数据处理规则，将数据处理规则保存到规则配置库中：

(41)定义字段ID为非法数据，执行错误数据处理；

(42)定义字段ID为重复数据，执行人工数据处理；

5)规则配置库中的数据处理规则生成规则XML文件：

6)定义规则配置库中各数据处理规则的调用顺序、自动扫描循环时间，完成自动扫描调度配置；

7)根据自动扫描调度任务，对数据进行过滤处理，依据数据处理规则执行数据处理，并记录数据执行过程与执行结果：

(71)判断数据为非法数据，按照相应的数据处理规则执行数据处理；

(72)判断数据为重复数据，将重复数据发送至人工干预数据存储区中，对数据进行人工处理；

8)当数据存储区中的数据全部完成数据过滤后，将步骤7)中的数据执行过程与执行结果发送至日志管理中，删除存储区中的数据，执行步骤2)-步骤7)，完成数据库中所有数据的清理；

9)当完成数据库中所有数据的清理，定时器开始工作，定时一段时间后重新对数据库进行垃圾数据清理。

所述的数据处理规则包括：规则类型、规则与数据源数据库中字段ID的映射关系、数据处理方式。

所述的规则与数据源数据库中字段ID的映射关系为多对多映射关系。

所述的数据处理方式包括：删除、跳过、人工干预。

本发明的有益效果在于：1.规则的可扩展性，随时补充新的规则；2.规则与数据的多对多映射，允许对数据项对应多条规则，同时也允许一条规则对应多个数据项；3.规则语义化，制定的规则以通俗易懂的形式展现，以计算机语言方式存储；4.垃圾数据处理方案的灵活配置，允许自定义包括删除、跳过、人工处理等多种方式处理垃圾数据；5.多数据库支持，允许处理包括oracle、mysql、db2等主流数据库的支持。

附图说明

图1是本发明的步骤流程图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例1：如图1所示，数据的处理是在数据处理中心进行的，数据处理中心与数据库连接，用于存放从数据库中提取的数据，并完成垃圾数据的清理。

表1、表2分别为人员信息表的一小段数据，信息表中的每一列为相同类型的数据，每一行设置字段ID，字段ID包括人员标识(FID_)、人名(FUSERNAME_FID_)、身份证号(IDCARD_FID_)、性别(SEX_FID_)、出生日期(BIRTHDATE_FID_)、户口所在地(HOME_FID_)，并以字段ID集合建立数据源数据库，