[发明专利]一种数据处理方法和装置

说明书

本发明公开了一种数据处理方法和装置，包括：启动预设定时处理线程，按照预设时间间隔遍历预设配置表；预设配置表中记录有多个数据库表的配置信息；从配置信息中提取目标字段，并根据目标字段确定配置信息对应的数据库表的数据存储时间和数据保留时间间隔；获取当前时间，并计算当前时间与数据存储时间的时间差；判断时间差是否大于或等于数据保留时间间隔；若是，则数据库表对应的数据为过期数据，清除过期数据。本发明通过在数据库表中指定或增设目标字段，设定数据的存储时间和数据保留时间间隔，并通过预设定时处理线程定时遍历，使得数据库可以自动清理过期数据，解决了数据库中的过期数据无法进行自动清理的问题。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法和装置。

背景技术

电信系统业务量非常庞大，在使用了开源分布式系统的新架构之后，服务器数据剧增，给系统运维提出了巨大的挑战。在监控与运维系统的运行过程中，会生成大量的监控、状态数据。将这些数据保存在关系型数据库内可以方便地进行各种组合、汇聚查询，挖掘出更有价值的信息。它们在刚刚生成时是热点数据，重要性随着时间的推移而快速降低。在重点关注时间过后就应该被归档或废弃，不必保存在在用库中。通常的解决方案是对每张表开发和部署配套程序进行数据清理。如果忽略了数据清理，就可能造成查询慢、MySQL繁忙、硬盘占用空间大等许多问题，这都加重了运维工作的负担，因此需要提供高效、自动化的数据清理方案。

发明内容

本发明提供了一种数据处理方法和装置，用于解决数据库中的过期数据无法进行自动清理的问题。

本发明提供了一种数据处理方法，包括：

启动预设定时处理线程，按照预设时间间隔遍历预设配置表；所述预设配置表中记录有多个数据库表分别对应的配置信息；

从所述配置信息中提取目标字段，并根据所述目标字段确定所述配置信息对应的数据库表的数据存储时间和数据保留时间间隔；

获取当前时间，并计算所述当前时间与所述数据存储时间的时间差；

判断所述时间差是否大于或等于所述数据保留时间间隔；

若是，则所述数据库表对应的数据为过期数据，清除所述过期数据。

可选地，所述启动预设定时处理线程，按照预设时间间隔遍历预设配置表的步骤之前，还包括：

接收用户输入的建表语句；

判断所述建表语句中是否包含所述目标字段；

若是，判断所述目标字段是否完整；

若是，将所述建表语句转换为标准建表语句，并采用所述标准建表语句生成对应的数据库表；

生成所述数据库表对应的配置信息，并将所述配置信息写入所述预设配置表中。

可选地，还包括：

当接收到用户针对所述数据库表输入的数据查询语句或数据修改语句时，根据所述目标字段生成过滤条件；

根据所述过滤条件操作所述数据库表，获取已过滤数据；

输出所述已过滤数据。

可选地，还包括：

当所述建表语句中不包含所述目标字段时，生成对应的数据库表，或生成对应的建表出错信息，并输出生成的建表出错信息；

当所述建表语句中包含所述目标字段但判定所述目标字段不完整时，生成对应的建表出错信息，并输出生成的建表出错信息。

本发明还提供了一种数据处理装置，包括：