[发明专利]一种易扩展可配置化的数据备份系统及方法

权利要求书

1.一种易扩展可配置化的数据备份系统，其特征在于，包括管理平台服务模块、流程处理引擎模块和多数据源服务模块；

所述管理平台服务模块用于配置系统参数和数据备份相关的参数，提供迁移流程监控功能，提供服务注册、服务发现以及服务监控；其中，所述数据备份相关的参数包括SQL参数变量和迁移SQL模板；所述迁移SQL模板中将同一批有关联性的数据以组的方式进行定义形成迁移群组；

所述流程处理引擎模块用于基于管理平台服务模块配置的参数执行迁移任务，迁移群组间基于层级码顺序执行迁移任务，迁移群组内基于系统参数中设置的顺序分批次执行迁移任务；

所述多数据源服务模块用于对多个数据源进行配置、初始化及事务管理；

其中，配置SQL参数变量时，参数通过参数名匹配替换SQL模板里的变量得到实际运行参数；配置迁移SQL模板时，SQL语句模板是基于业务实际情况进行迁移的；

所述流程处理引擎模块包括配置解析器、流程处理器、日志追踪器和差错处理器；

所述配置解析器用于将所述SQL参数变量动态生成当日SQL变量，结合所述当日SQL变量和迁移SQL模板生成当日可执行的SQL语句，将所述可执行的SQL语句保存到迁移任务表中；

所述流程处理器用于执行迁移任务；

所述日志追踪器用于记录迁移的任务日志；

所述差错处理器用于对异常终止的迁移任务进行补偿；

所述流程处理器执行以下操作：

(1)迁移群组间基于层级码顺序执行迁移任务，具体为：基于层级码将若干迁移群组进行排序生成迁移群组维度；基于所述迁移群组维度进行循环处理各迁移群组的迁移任务，若当前迁移群组内所有迁移任务均已处理完，则继续处理下一迁移群组中的迁移任务；

(2)迁移群组内基于系统参数中设置的顺序分批次执行迁移任务，具体为：基于系统参数中设置的数值分批次提取迁移数据；判断是否能提取到数据，若不能提取到数据，则当前迁移任务处理完成，继续下一迁移任务；若能提取到数据，则将该数据插入目标库表，删除原库表中被提取的数据，再判断当前时间是否达到数据的迁移调度运行停止日期或处理过程是否出现异常，若达到数据的迁移调度运行停止日期或处理过程出现异常，则标记为未完成的迁移任务；若未达到迁移调度运行停止日期并且未出现异常，则对该数据进行迁移处理；该数据迁移完成后继续基于系统参数中设置的数值分批次提取迁移数据，循环处理直至该迁移群组内所有迁移任务全部完成；

所述差错处理器执行以下操作：删除上一次迁移任务异常处理遗留的冗余数据，并从失败的数据位置继续迁移处理，以保证数据完整。

2.根据权利要求1所述的数据备份系统，其特征在于，所述管理平台服务模块包括注册中心子模块、调度管理子模块、配置中心子模块和监控中心子模块；

所述注册中心子模块用于服务注册、服务发现以及服务监控功能；

所述调度管理子模块用于配置系统参数，包括配置迁移任务corn表达式、迁移调度执行频次及迁移耗时阈值，并触发执行过程；

所述配置中心子模块用于配置数据备份相关的配置，包括配置SQL参数变量和迁移SQL模板，所述配置迁移SQL模板中包括配置处理类型、迁移群组、迁移业务渠道、数据源、迁移规则和数据字典；

所述监控中心子模块用于提供迁移流程监控功能，监控迁移过程中的各项指标。

3.根据权利要求1所述的数据备份系统，其特征在于，所述多数据源服务模块包括数据接入和持久化子模块和事物控制子模块；

所述数据接入和持久化子模块用于对数据源进行初始化及持久化管理；

所述事物控制子模块用于对数据源进行事务控制。

4.根据权利要求1所述的数据备份系统，其特征在于，所述多个数据源均属于MYSQL数据库，包括管理平台数据库、数据迁移源库和数据迁移目标库。