[发明专利]一种历史数据的自动清理方法及装置

说明书

本申请公开的一种历史数据的自动清理方法及装置，读取数据清理总控参数表、清理规则表、一致性规则表和待清理数据表，得到当前待清理数据主表、当前待清理数据主表对应的关联表、以及当前待清理数据主表的每条清理规则；根据当前待清理数据主表、以及当前待清理数据主表的每条清理规则，对当前待清理数据主表、以及当前待清理数据主表对应的关联表的相关历史数据进行清理。按可配置的清理规则自动进行历史数据清理，且在历史数据的清理过程中保证数据表之间的数据一致性。

技术领域

本发明涉及数据清理技术领域，更具体的，涉及一种历史数据的自动清理方法及装置。

背景技术

计算机系统中的业务数据通常都会不断积累。规模过大的业务历史数据如果不及时清理，会占用过多的磁盘空间，也会影响系统响应性能。所以，对超过一定期限的历史数据及时进行清理，是十分必要的。

现有应用系统中，一般使用两种方法进行历史数据清理：

方法1：针对每个需要进行数据清理的数据表，手工下达SQL TRUNCATE或者SQLDELETE或者SQL DROP\CREATE TABLE命令，以便进行数据清理；

方法2：用编程的方法实现数据清理。在清理程序中定义和使用数据库游标，并从主表出发，对相关联的各个数据表，对记录进行逐条删除。

方法1存在的缺点和不足：该方法难以保证数据表之间的一致性，容易出错，导致数据混乱。

方法2存在的缺点和不足：不具有可配置性。依赖于编程实现，对于每个特定的应用系统，都要分别实现数据清理逻辑；不具有通用性和可移植性。一旦需要调整数据清理规则或者增加清理表范围，就需要修改程序，因此维护工作变得繁琐复杂，容易出错。

发明内容

有鉴于此，本发明提供了一种历史数据的自动清理方法及装置，按可配置的清理规则和一致性规则，自动执行历史数据的清理工作，提高了历史数据的清理效率。

为了实现上述发明目的，本发明提供的具体技术方案如下：

一种历史数据的自动清理方法，包括：

读取数据清理总控参数表、清理规则表、一致性规则表和待清理数据表，得到当前待清理数据主表、当前待清理数据主表对应的关联表、以及当前待清理数据主表的每条清理规则；

根据当前待清理数据主表、以及当前待清理数据主表的每条清理规则，依次对当前待清理数据主表对应的关联表、以及当前待清理数据主表的相关历史数据进行清理。

优选的，所述读取数据清理总控参数表、清理规则表、一致性规则表和待清理数据表，得到当前待清理数据主表、当前待清理数据主表对应的关联表、以及当前待清理数据主表的每条清理规则，包括：

读取数据清理总控参数表，获取历史数据清理全局性控制参数，所述历史数据清理全局性控制参数包括清理执行控制生效标志、最近一次清理日期和清理频率；

当所述清理执行控制生效标志为生效时，根据当前日期、所述最近一次清理日期和清理频率，判断当前是否需要清理历史数据；

若是，读取待清理数据表，获取当前待清理数据主表，读取清理规则表，获取当前待清理数据主表的每条清理规则，并读取一致性规则表，获取当前待清理数据主表对应的关联表。

优选的，所述根据当前待清理数据主表、以及当前待清理数据主表的每条清理规则，依次对当前待清理数据主表对应的关联表、以及当前待清理数据主表的相关历史数据进行清理，包括：

根据所述待清理数据表和数据定义表，确定当前待清理数据主表的主键；

根据当前待清理数据主表的主键，生成删除当前待清理数据主表历史数据的SQL语句；