[发明专利]一种存款系统历史数据清理方法和系统

说明书

本发明提出了一种存款系统历史数据的清理方法和系统，该清理方法运行在应用程序侧，包括如下步骤：接收调度平台信号，触发任务；查询并判断数据清理参数表是否为空，若不为空，则进行下一步；调取杂项参数表中的配置参数，所述配置参数包括结束时间、操作条数和开关状态；循环调取数据清理参数表中的每条源表参数；根据配置参数，判断当前时间和开关状态是否符合要求，若符合，则对与所述源表参数对应的源表进行数据清理任务；任务完毕同时更新所述数据清理参数表。本发明着眼于银行存款业务系统，基于oracle数据库分区表技术，可以实现数据清理进行前、进行中和进行后的全阶段监控以及异常情况的及时告警。

技术领域

本发明涉及数据清理领域，具体而言，涉及一种存款系统历史数据清理方法和系统。

背景技术

随着银行业务的发展、客户规模的增加以及各类存款产品的推出，银行存款系统的数据规模成倍增加，每日新增千万乃至上亿规模的数据。目前流行的基于微服务架构银行业务系统，通过水平扩展可以增加应用的性能，从而增加交易处理速度，减少交易耗时，因此数据库容易成为瓶颈。为此诞生出各类数据清理方法来管理历史数据，从而减少日常业务所需要处理的数据量级，提高业务效率。

在数据清理的实际过程当中，目前各类方法、系统往往以数据准确为目标，确保历史数据可以被完整、不重复的保存，但缺少一些可扩展的机制。如系统缺少自动监控清理过程有无异常，对于每一个数据清理的环节能否监控全面；如系统缺少对于清理作业的时间灵活控制手段，除了作业的开始、结束时间可控制化，还能够灵活停止正在执行的作业，待下次继续执行；如系统缺少对已经建成的数据表的改造能力，对于业务系统上线时未按照数据清理系统标准进行建库建表的，能否在不影响业务的前提下进行适配改造。

发明内容

鉴于上述问题，本发明提供了一种存款系统历史数据清理方法和系统。

为解决上述技术问题，本发明采用的技术方案是：

第一方面，本发明提供了一种存款系统历史数据的清理方法，运行在应用程序侧，包括如下步骤：接收调度平台信号，触发任务；查询并判断数据清理参数表是否为空，若不为空，则进行下一步；调取杂项参数表中的配置参数，所述配置参数包括结束时间、操作条数和开关状态；循环调取数据清理参数表中的每条源表参数；根据配置参数，判断当前时间和开关状态是否符合要求，若符合，则对与所述源表参数对应的源表进行数据清理任务；任务完毕同时更新所述数据清理参数表。

作为优选方案，所述判断当前时间和开关状态是否符合要求，包括：判断当前时间是否小于数据清理的结束时间，若小于，则判断数据清理的开关状态是否为打开。

第二方面，本发明提供了一种存款系统历史数据的清理方法，运行在存储过程侧，包括如下步骤：对源表进行改造，生成与所述源表对应的临时表和历史表；接收应用程序侧传入的源表参数；根据所述源表参数，检查与源表对应的临时表是否存在，并检查源表的交换分区是否存在，以及检查历史表的交换分区是否存在，若三者均存在，则进行下一步；将源表的交换分区数据交换至临时表，再将临时表交换至历史表的指定交换分区；检查源表和历史表的新分区是否存在，若不存在，则构建新分区，并对所述新分区重建索引；检查源表交换后的交换分区是否为空，若为空，则删除源表的交换分区；确认源表和历史表的新分区是否存在，若存在，则返回全部清理标志和开关状态。

作为优选方案，所述对源表进行改造，包括：确定源表的数据范围，所述源表具有唯一索引；确认所述唯一索引的字段是否存在非空约束，如果不存在，则增加非空约束；验证所述源表是否符合重定义条件，若符合，则进行下一步，反之，返回上一步进行约束的修改；建立所述源表的中间表，所述中间表的数据结构与源表相同；对所述源表进行重定义操作；拷贝所述源表的索引及约束至对应的中间表，并将所述源表的数据同步至中间表，同时收集中间表在数据同步过程中的统计信息；再次将所述源表的数据同步至中间表；完成重定义，所述源表由普通表改造成分区表，中间表由分区表改造成普通表；检查源表的约束是否正常；