[发明专利]一种基于海量级的电力营销历史数据迁移方法

说明书

本发明提供一种基于海量级的电力营销历史数据迁移方法，包括将针对第一集群和第二集群的读请求和写请求均配置为访问第一集群；在第一时刻将第一集群的主节点的当前数据迁移到第二集群的主节点；在完成所述迁移的第二时刻，将迁移数据从第二集群的主节点同步至从节点；将针对第一集群和第二集群的读请求配置为访问第二集群；将从第一时刻到第二时刻由于写请求而产生的数据从第一集群的主节点同步到第二集群的主节点；将针对第一集群和第二集群的写请求配置为访问第二集群的主节点。在不停止电力业务的情况下，逐步将海量数据以及针对数据读请求和写请求切换至目标集群，实现了在不停止业务的情况下对电力系统数据库存储集群进行数据迁移。

技术领域

本发明涉及电力营销业务应用系统，具体为一种基于海量级的电力营销历史数据迁移方法。

背景技术

国网辽宁电力SG186营销业务应用系统于2009年上线，目前管辖用户数达到2200多万，覆盖14个地市和128个县公司。随着辽宁省内用电户数量的增长、营销业务持续发展完善，营销业务应用系统需要处理的数据日益增大，当前营销业务应用系统生产数据库已分配表空间21.5T，已使用17T，庞大的数据量加重了数据库扫描统计的负担，导致业务响应速率下降，影响业务正常开展。为提升营销系统响应速率，建议尽快进行历史数据迁移。

系统生产库曾于2016年4月进行过营销历史数据清理工作，完成涉及营销电费业务共21张表及时间范围为2009年6月至2014年12月的数据转储工作。本次历史数据迁移工作计划于2018年2月初开始实施，计划迁移2016年12月份及之前的数据，共涉及80张表，分6个批次，考虑规避发行收费高峰期，计划持续约八个月完成，预计释放约3.5T空间。

发明内容

本发明要解决的技术问题是，提供一种基于海量级的电力营销历史数据迁移方法，主要涉及电费业务，通过迁移营销业务系统历史数据，以提高数据查询性能，提升算费、发行、收费业务等业务的系统响应速率，避免数据文件持续增长，减小数据库存储容量，避免数据库容量持续增长。

采用的技术方案为：

一种基于海量级的电力营销历史数据迁移方法，所述方法包括：将针对第一集群和第二集群的读请求和写请求均配置为访问第一集群；在第一时刻将第一集群的主节点的当前数据迁移到第二集群的主节点；在完成所述迁移的第二时刻，将迁移数据从第二集群的主节点同步至从节点；将针对第一集群和第二集群的读请求配置为访问第二集群；将从第一时刻到第二时刻由于写请求而产生的数据从第一集群的主节点同步到第二集群的主节点；将针对第一集群和第二集群的写请求配置为访问第二集群的主节点；将针对第一集群和第二集群的写请求配置为访问第二集群的主节点包括：将第一集群的主节点配置为只读状态；将针对第一集群和第二集群的写请求配置为访问第二集群的主节点；将第二集群的主节点配置为可写状态；所述第一集群和第二集群均为MySQL数据存储集群，将针对第一集群和第二集群的读请求配置为访问第二集群包括：修改DBProxy中间件的配置，将针对第一集群和第二集群的读请求配置为访问第二集群的主节点或从节点，实现第一集群和第二集群的读写分离；对第一集群的部分数据进行迁移时，将从第一时刻到第二时刻由于写请求而产生的数据从第一集群的主节点同步到第二集群的主节点之后，所述方法还包括：判定第一集群中针对需要迁移数据的读请求和写请求已经完全不存在；将针对第一集群和第二集群的读请求和写请求均配置为访问第一集群之前，所述方法还包括：部署与第一集群具有相同架构的第二集群。

生产库侧数据备份：

分区表(按时间分区)：

对于按时间进行分区的分区表，可以根据所要迁移的时间范围按分区对数据进行备份，采用数据泵备份方式将dump文件存放至指定文件系统空间,脚本示例如下：