[发明专利]一种易扩展可配置化的数据备份系统及方法

说明书

本发明公开了一种易扩展可配置化的数据备份系统及方法，包括管理平台服务模块、流程处理引擎模块和多数据源服务模块；管理平台服务模块用于配置系统参数和数据备份相关的参数，提供迁移流程监控功能，提供服务注册、服务发现以及服务监控；流程处理引擎模块用于基于管理平台服务模块配置的参数执行迁移任务，迁移群组间按照层级码顺序执行迁移任务，迁移群组内按照系统参数中设置的顺序分批次执行迁移任务；多数据源服务模块用于对多个数据源进行配置、初始化及事务管理；该系统采用分批次的处理方式来进行小批量多批次的进行数据迁移，对于迁移过程中出现的异常情况采用差错处理的方式来确保数据迁移完整性。

技术领域

本发明涉及数据仓储、数据加工技术领域，具体涉及一种易扩展可配置化的数据备份系统及方法。

背景技术

随着银行网贷业务系统数字化的不断深入、交易系统持续稳定的运行以及时间的增加，交易系统中产生了大量的交易数据存于数据库表中，数据的逐渐增加会导致当前的交易系统存在日间业务响应速度变慢，超出了业务要求的最大响应时间，日终业务处理耗时较长，会推迟第二日正常业务开展，上级要求报送数据查询较慢使按照上级（银监、人行、行内）要求报送数据产生不便，甚至数据过大导致临时空间不足导致查询失败，数据库所在物理机器存储空间不足使业务系统无法正常运行，导致网贷业务无法开展等问题。

针对上述问题，目前银行采取的处理办法是通过人工定期对生产数据库进行整库备份，将数据库备份成一个备份文件，然后再人工对生产系统进行数据清洗，即对于已经过期的交易数据和过程数据采取删除的方式来释放数据库存储空间，虽然目前的处理方法解决了上述问题，但是该处理方法还存在以下缺陷：

（1）整库备份冗余数据较多、备份文件所占磁盘空间较大：当前的备份方案是整库备份，这种备份方式比较粗糙，备份的数据中会有大量的冗余数据（非业务数据），由此产生的备份文件会特别大；

（2）备份文件无法直接进行查询使用：数据库的备份文件不能直接用于筛选查询，必须先将备份文件恢复成数据库才能够筛选查询；

（3）每次备份耗时过长且影响日间业务开展：数据库是全量备份，由于数据库较大每次备份都无法在短时间内完成，并且备份时不能开展日间业务，因此每次备份时日间的交易都需要暂停，影响日间交易的正常开展；

（4）数据库备份文件使用较为繁琐，影响数据报送时效：上级（银监、人行、行内）经常会发文要求报送数据，要求报送的数据是复合维度的无法预料（比如要求报送过去某个日期节点联合贷的本金余额）并且必须严格按照截止时间进行报送，基于该要求就需要我们将某个时间节点的备份文件取出进行还原，还原之后再按照上级要求查询并报送，整个繁琐并且耗时特别长，极大的影响报送效率；

（5）人工进行数据清洗过程对人员要求较高且易出错：目前人工的方式进行数据清洗需要求人员对系统较为熟悉，并且清洗数据时存在出错的风险。

发明内容

针对上述问题，本发明的一个目的是提供一种易扩展可配置化的数据备份系统，该系统采用备份数据库替代原先的备份文件，通过迁移（清洗）系统定期（高频小量）将过期的数据迁移到备份库中，解决了原先迁移耗时较长、备份数据无法直接查询的问题；备份数据库可以横向扩展，数据迁移（数据清洗）动作可以在多个物理机器、多个数据源之间进行；该系统只备份业务数据（非业务数据无需备份），减少备份物理空间占用；数据备份灵活配置，数据迁移（数据清洗）整个过程由程序执行无需人工介入，实现数据备份过程自动化，避免了人工出错的可能性。

本发明的第二个目的是提供一种易扩展可配置化的数据备份方法，该方法根据业务数据实际情况通过配置化的方式，定期对业务库表中的数据以跨数据源的方式进行数据迁移以达到备份的目的，通过删除过期数据或迁移不常用数据，从而提升业务库表使用性能、并减少了数据库对磁盘空间占用。

本发明所采用的第一个技术方案是：一种易扩展可配置化的数据备份系统，包括管理平台服务模块、流程处理引擎模块和多数据源服务模块；