[发明专利]一种数据调度方法、系统、装置及存储介质

说明书

本发明公开了一种数据调度方法、系统、装置及存储介质，该方法包括：获取数据库备份文件并将对该数据库备份文件进行归集；基于Netty框架将归集后的数据库备份文件分发到各个服务器并还原成原始数据；将原始数据转存到数据仓库。该系统包括：归集模块，分发模块和转存模块。该装置包括存储器以及用于执行上述数据调度方法的处理器。通过使用本发明，可提高数据转存的速度。本发明作为一种数据调度方法、系统、装置及存储介质，可广泛应用于数据转存领域。

技术领域

本发明涉及数据转存领域，尤其涉及一种数据调度方法、系统、装置及存储介质。

背景技术

面对各行各业对大数据分析的需求日益增长，数据从传统数据库到大数据分析平台的转存方式以及效率成为一大难题，当前的转存方式由于没有对传统数据库备份文件进行集中式归档和管理，还原前需要将备份文件分发到对应的数据库所在服务器，数据传输还需借助第三方工具。该转存方式环节多，效率低，重复性工作量较大，需要耗费大量的人工，出错率较高，已经不能满足企业发展和项目生存的需要。

发明内容

为了解决上述技术问题，本发明的目的是提供一种数据调度方法、系统、装置及存储介质，可使数据快速转存到指定的数据仓库。

本发明所采用的第一技术方案是：一种数据调度方法，包括以下步骤：

获取数据库备份文件并将对该数据库备份文件进行归集；

基于Netty框架将归集后的数据库备份文件分发到各个服务器并还原成原始数据；

将原始数据转存到数据仓库；

进一步，所述获取数据库备份文件并将对该数据库备份文件进行归集这一步骤，其具体包括：

获取数据库数据并生成数据文件目录；

从数据文件目录中获取所需数据库备份文件并进行归集分类，归集分类完成后对文件格式进行校验，校验成功得到归集后的数据库备份文件。

进一步，所述基于Netty框架将归集后的数据库备份文件分发到各个服务器并还原成原始数据这一步骤，其具体包括：

基于Netty框架将数据库备份文件分发到对应数据库所在的服务器；

调用还原脚本对数据库备份文件进行还原并对还原后的数据进行数据分析；

进一步，所述将原始数据转存到数据仓库这一步骤，其具体包括：

基于DataX读取数据库，获取数据库中的原始数据；

按预设规则将原始数据分类并将分类后的数据转存到数据仓库；

进一步，所述基于Netty框架将数据库备份文件分发到对应数据库所在的服务器这一步骤，其具体包括：

建立数据中心端与分发服务中心端的连接；

响应于数据中心端发送的分发请求，将数据库备份文件分发到对应服务器。

进一步，所述基于DataX读取数据库，获取数据库中的原始数据这一步骤，其具体包括：

根据数据库的物理地址将数据库划分为不同地址的区域；

创建对应数量的处理线程对各个区域进行扫描并获取数据，整合得到数据库中的原始数据。

进一步，所述响应于数据中心端发送的分发请求中采用Protobuf序列化协议响应和发送请求。

本发明所采用的第二技术方案是：一种数据调度系统，包括：

归集模块，用于获取数据库备份文件并将对该数据库备份文件进行归集；