[发明专利]数据归档方法及装置

说明书

技术领域

本申请属于数据处理技术领域，具体地说，涉及一种数据归档方法及装置。

背景技术

随着网络和计算机技术的发展，基于计算机技术的数据处理系统，实现了对数据的加工、整理、分析等处理操作，而随着数据处理复杂度以及数据量的增加，数据处理系统中数据的存储与维护，面临年均数十亿级数据增长规模的挑战，长此以往数据处理系统中，运行时数据库(runtime database)中海量数据的累积将直接导致数据库性能的降低，从而影响数据处理，影响用户体验。

因此就需要将数据处理系统中，运行时数据库中的数据进行数据归档，将部分数据存储在另一个单独的归档数据库中，以保证运行时数据库的响应时间，保证数据处理的效率。

在现有技术中，数据归档主要通过人工手动完成，选择需要归档的数据，存储在归档数据库中，但是手动归档这种方式，操作复杂、效率较低。

发明内容

有鉴于此，本申请所要解决的技术问题是提供了一种数据归档方法及装置，实现了数据自动归档，提高数据归档效率。

为了解决上述技术问题，本申请公开了一种数据归档方法，包括：

获取数据处理系统的系统性能；

监测所述系统性能是否满足性能需求条件，以及所述数据处理系统的运行时数据库中是否存在满足数据归档条件的待归档数据；

在所述系统性能满足性能需求条件，且所述运行时数据库中存在满足归档条件的待归档数据时，生成数据归档指令，由所述数据处理系统响应所述数据归档指令将所述待归档数据存储至归档数据库中。

优选地，所述判断所述数据处理系统的运行时数据库中是否存在满足归档条件的待归档数据包括：

判断所述数据处理系统的运行时数据库中是否存在操作频率低于频率阈值、数据量高于数据阈值或者最近一次操作时间与当前时间的时间差大于时间阈值的数据表；将存在操作频率低于频率阈值、数据量高于数据阈值或者最近一次操作时间与当前时间的时间差大于时间阈值的的数据表中数据作为待归档数据。

优选地，所述判断所述数据处理系统的运行时数据库中，是否存在满足归档条件的待归档数据包括：

判断所述数据处理系统的运行时数据库中，是否存在操作频率低于频率阈值或者最近一次操作时间与当前时间的时间差大于时间阈值的待归档数据。

优选地，在所述数据处理系统响应所述数据归档指令过程中，所述方法还包括：

当监测到所述系统性能由满足性能需求条件变为不满足所述性能需求条件时，生成归档暂停指令，由所述数据处理系统响应所述归档暂停指令，将所述待归档数据暂停存储至归档数据库；

在所述数据处理系统响应所述归档暂停指令过程中，当监测到所述系统性能由不满足所述性能需求条件再次变为满足所述性能需求条件时，生成归档恢复指令，由所述数据处理系统响应所述归档恢复指令，继续将所述待归档数据存储至归档数据库。

优选地，所述系统性能包括系统负载和/或数据库响应时间；

所述判断所述系统性能是否满足性能需求条件包括：

判断所述系统负载是否小于负载阈值和/或所述数据库响应时间是否小于响应阈值。

一种数据归档装置，包括：

性能获取模块，用于获取数据处理系统的系统性能；

性能监测模块，用于监测所述系统性能是否满足性能需求条件；

归档判断模块，用于判断所述数据处理系统的运行时数据库中是否存在满足数据归档条件的待归档数据；

归档触发模块，用于在所述系统性能满足性能需求条件，且所述运行时数据库中存在满足归档条件的待归档数据时，生成数据归档指令，由所述数据处理系统响应所述数据归档指令将所述待归档数据存储至归档数据库中。

优选地，所述归档判断模块具体用于：

判断所述数据处理系统的运行时数据库中是否存在操作频率低于频率阈值、数据量高于数据阈值或者最近一次操作时间与当前时间的时间差大于时间阈值的数据表；将存在操作频率低于频率阈值、数据量高于数据阈值或者最近一次操作时间与当前时间的时间差大于时间阈值的的数据表中中的数据作为待归档数据。

优选地，所述归档判断模块具体用于：

判断所述数据处理系统的运行时数据库中，是否存在操作频率低于频率阈值或者最近一次操作时间与当前时间的时间差大于时间阈值的待归档数据。

优选地，还包括：