[发明专利]一种基于大数据的数据同步方法

说明书

本申请公开了一种基于大数据的数据同步方法，包括：云服务器获取源端和目的端的数据库配置信息，源端和目的端均包含多个实例；若数据类型为同构数据，则云服务器基于哈希映射，通过SQL同步命令完成从源端实例向目的端实例进行同步的操作；若数据类型为异构数据，云服务器通过虚拟化策略将异构数据虚拟化，生成源端不同实例的虚拟同构数据，并在源端不同实例中建立不同的虚拟表，将源端不同实例中虚拟同构数据对应添加进不同的虚拟表中；基于SQL同步命令，将源端不同实例的虚拟表按照哈希映射的关联关系同步至对应的目的端不同实例中，以使目的端提取虚拟表中的虚拟同构数据，并分时将虚拟同构数据逆变换为异构数据。

技术领域

本申请涉及数据处理技术领域，尤其涉及基于大数据的数据同步方法。

背景技术

大数据，是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

对于PB级别的数据而言，其数据同步是一个难点，现有技术中，数据同步是通过SQL接口定时调度任务去完成，通过SQL接口定时将源端的数据通过主节点MASTER依次分配给目的端节点，对MASTER节点的数据要求较高，容易造成性能瓶颈，并且，只能针对同构数据进行定时调度，不能解决异构数据的快速同步问题。

发明内容

本申请实施例提供一种基于大数据的数据同步方法，用于解决现有技术中数据同步易造成性能瓶颈以及无法快速同步异构数据的问题。

本发明实施例提供一种基于大数据的数据同步方法，包括：

云服务器获取源端和目的端的数据库配置信息，所述源端和目的端均包含多个实例；

所述云服务器对所述源端和所述目的端的所有实例中的数据类型进行判断：

若所述数据类型为同构数据，则所述云服务器建立所述源端中多个实例与所述目的端中多个实例的哈希映射，并基于所述哈希映射，通过SQL同步命令完成从所述源端实例向所述目的端实例进行同步的操作，其中，所述源端实例与所述目的端实例按照所述哈希映射的关系进行关联，所述SQL同步命令用于对所述源端实例中的数据及所述目的端实例中的数据直接进行点对点传输；

若所述数据类型为异构数据，则所述云服务器通过虚拟化策略将所述异构数据虚拟化，生成所述源端不同实例的虚拟同构数据，并在所述源端不同实例中建立不同的虚拟表，将所述源端不同实例中虚拟同构数据对应添加进所述不同的虚拟表中；所述云服务器建立所述源端中多个实例与所述目的端中多个实例的哈希映射；所述云服务器将基于所述SQL同步命令，将所述源端不同实例的虚拟表按照所述哈希映射的关联关系同步至对应的所述目的端不同实例中，以使所述目的端提取所述虚拟表中的虚拟同构数据，并分时将所述虚拟同构数据逆变换为异构数据。

可选地，所述云服务器通过虚拟化策略将所述异构数据虚拟化，生成所述源端不同实例的虚拟同构数据，包括：

所述云服务器获取所述异构数据的数据类型；

基于所述异构数据不同的数据类型，设置不同标识位，所述标识位与所述异构数据的数据类型一一对应；

构建统一格式的虚拟同构数据，将所述异构数据作为所述虚拟同构数据的净负荷数据，封装进所述虚拟同构数据中，并将所述标识位作为报头，写入所述虚拟同构数据的报文中，其中，所述虚拟同构数据包括报头、净负荷数据及结束符；

若所述异构数据大小大于所述虚拟同构数据大小，将所述异构数据进行拆分，以使所述异构数据拆分为多个子异构数据，将所述每一个子异构数据作为每一个所述虚拟同构数据的净负荷数据，写入所述虚拟同构数据中，其中，所述子异构数据数据量小于等于所述虚拟同构数据量，且所述子异构数据具备拆分标识。