[发明专利]一种数据同步方法、系统及存储介质

说明书

本申请实施例提供了一种数据同步方法、系统及存储介质，应用于大数据技术领域，系统包括：应用服务设备发送数据同步指令至第一数据库服务器，以使第一数据库服务器根据目标表更新资源池表；应用服务设备发送资源调度指令至第一数据库服务器，以使第一数据库服务器根据资源池表划分出多个子用户数据集合以写入渠道表；第三数据库服务器通过应用服务设备或第一数据库服务器获取目标渠道表以进行存储。采用本申请，可以满足对数据同步效率和实时性的需求。本申请涉及区块链技术，如将目标渠道表的发送时间写入区块链中。

技术领域

本申请涉及大数据技术领域，尤其涉及一种数据同步方法、系统及存储介质。

背景技术

常见的数据同步方式有基于Oracle和MongoDB(一种基于分布式文件存储的数据库)的数据同步方式。这种数据同步方式从Hive数据库服务器中，将数据通过Sqoop(一种数据转移工具)导入到Oracle数据库服务器，再将数据从Oracle数据库服务器经Kettle(一种数据迁移工具)导入到MongoDB数据库服务器中。之后在MongoDB中执行一系列操作后，最后再通过Kettle，将数据从MongoDB导出到Oracle的过程。然而，这种数据同步方式每次数据搬迁都需要耗费大量的时间，这就导致每个月只能做一次全量同步，每天的增量同步受到较大限制。并且，当数据同步需求变更时，这种数据同步方式也无法响应变更的需求以实时进行数据同步。

发明内容

本申请实施例提供了一种数据同步方法、系统及存储介质，可以满足对数据同步效率和实时性的需求。

第一方面，本申请实施例提供了一种数据同步方法，包括：

应用服务设备发送数据同步指令至第一数据库服务器；

所述第一数据库服务器在接收到所述数据同步指令后，根据配置的资源池表的表名以及配置的字段信息创建目标表，并通过第二数据库服务器获取所述目标表的字段信息对应的用户数据以添加至所述目标表中；

所述第一数据库服务器利用所述目标表更新所述资源池表；

所述应用服务设备发送资源调度指令至所述第一数据库服务器；

所述第一数据库服务器在接收到所述资源调度指令后，从所述资源池表筛选出用户数据集合，将所述用户数据集合划分为多个子用户数据集合，并将每个子用户数据集合写入该子用户数据集合对应的渠道表中；

第三数据库服务器通过所述应用服务设备或所述第一数据库服务器获取包括目标子用户数据集合的目标渠道表以进行存储。

可选的，所述第一数据库服务器通过第二数据库服务器获取所述目标表的字段信息对应的用户数据以添加至所述目标表中，包括：

所述第一数据库服务器获取配置的源表中的字段信息与目标表的字段信息的映射关系；

所述第一数据库服务器根据所述源表中的字段信息与目标表的字段信息的映射关系以及所述第二数据库服务器包括的所述源表，获取所述目标表的字段信息对应的用户数据以添加至所述目标表中。

可选的，所述第一数据库服务器根据所述源表中的字段信息与目标表的字段信息的映射关系以及所述第二数据库服务器包括的所述源表，获取所述目标表的字段信息对应的用户数据以添加至所述目标表中，包括：

所述第一数据库服务器根据第二数据库服务器包括的所述源表，获取所述源表所在目录中各个文件的文件信息，所述文件信息包括文件路径和文件格式；

所述第一数据库服务器基于所述各个文件的文件信息创建源表映射表；

所述第一数据库服务器根据源表映射表以及配置的源表中的字段信息与目标表的字段信息的映射关系，从所述源表所在目录获取所述目标表的字段信息对应的用户数据，并将所述用户数据写入所述目标表中。

可选的，所述方法还包括：