[发明专利]一种数据调度方法、系统、装置及存储介质

权利要求书

1.一种数据调度方法，其特征在于，包括：

获取数据库备份文件并将对该数据库备份文件进行归集；

基于Netty框架将归集后的数据库备份文件分发到各个服务器并还原成原始数据；

将原始数据转存到数据仓库。

2.根据权利要求1所述的一种数据调度方法，其特征在于，所述获取数据库备份文件并将对该数据库备份文件进行归集这一步骤，其具体包括：

获取数据库数据并生成数据文件目录；

从数据文件目录中获取所需数据库备份文件并进行归集分类，归集分类完成后对文件格式进行校验，校验成功得到归集后的数据库备份文件。

3.根据权利要求1所述的一种数据调度方法，其特征在于，所述基于Netty框架将归集后的数据库备份文件分发到各个服务器并还原成原始数据这一步骤，其具体包括：

基于Netty框架将数据库备份文件分发到对应数据库所在的服务器；

调用还原脚本对数据库备份文件进行还原并对还原后的数据进行数据分析。

4.根据权利要求1所述的一种数据调度方法，其特征在于，所述将原始数据转存到数据仓库这一步骤，其具体包括：

基于DataX读取数据库，获取数据库中的原始数据；

按预设规则将原始数据分类并将分类后的数据转存到数据仓库。

5.根据权利要求3所述的一种数据调度方法，其特征在于，所述基于Netty框架将数据库备份文件分发到对应数据库所在的服务器这一步骤，其具体包括：

建立数据中心端与分发服务端的连接；

响应于数据中心端发送的分发请求，将数据库备份文件分发到对应服务器。

6.根据权利要求4所述的一种数据调度方法，其特征在于，所述基于DataX读取数据库，获取数据库中的原始数据这一步骤，其具体包括：

根据数据库的物理地址将数据库划分为不同地址的区域；

创建对应数量的处理线程对各个区域进行扫描并获取数据，整合得到数据库中的原始数据。

7.根据权利要求5所述的一种数据调度方法，其特征在于，所述响应于数据中心端发送的分发请求具体采用Protobuf序列化协议响应和发送请求。

8.一种数据调度系统，其特征在于，包括：

归集模块，用于获取数据库备份文件并将对该数据库备份文件进行归集；

分发模块，用于基于Netty框架将归集后的数据库备份文件分发到各个服务器并还原成原始数据；

转存模块，用于将原始数据转存到数据仓库。

9.一种数据调度装置，其特征在于，还包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7任一项所述一种数据调度方法。

10.一种存储介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指令在由处理器执行时用于实现如权利要求1-7任一项所述一种数据调度方法。