[发明专利]一种基于大数据的数据同步方法

权利要求书

1.一种基于大数据的数据同步方法，其特征在于，包括：

云服务器获取源端和目的端的数据库配置信息，所述源端和目的端均包含多个实例；

所述云服务器对所述源端和所述目的端的所有实例中的数据类型进行判断：

若所述数据类型为同构数据，则所述云服务器建立所述源端中多个实例与所述目的端中多个实例的哈希映射，并基于所述哈希映射，通过SQL同步命令完成从所述源端实例向所述目的端实例进行同步的操作，其中，所述源端实例与所述目的端实例按照所述哈希映射的关系进行关联，所述SQL同步命令用于对所述源端实例中的数据及所述目的端实例中的数据直接进行点对点传输；

若所述数据类型为异构数据，则所述云服务器通过虚拟化策略将所述异构数据虚拟化，生成所述源端不同实例的虚拟同构数据，并在所述源端不同实例中建立不同的虚拟表，将所述源端不同实例中虚拟同构数据对应添加进所述不同的虚拟表中；所述云服务器建立所述源端中多个实例与所述目的端中多个实例的哈希映射；所述云服务器将基于所述SQL同步命令，将所述源端不同实例的虚拟表按照所述哈希映射的关联关系同步至对应的所述目的端不同实例中，以使所述目的端提取所述虚拟表中的虚拟同构数据，并分时将所述虚拟同构数据逆变换为异构数据。

2.根据权利要求1所述的方法，其特征在于，所述云服务器通过虚拟化策略将所述异构数据虚拟化，生成所述源端不同实例的虚拟同构数据，包括：

所述云服务器获取所述异构数据的数据类型；

基于所述异构数据不同的数据类型，设置不同标识位，所述标识位与所述异构数据的数据类型一一对应；

构建统一格式的虚拟同构数据，将所述异构数据作为所述虚拟同构数据的净负荷数据，封装进所述虚拟同构数据中，并将所述标识位作为报头，写入所述虚拟同构数据的报文中，其中，所述虚拟同构数据包括报头、净负荷数据及结束符；

若所述异构数据大小大于所述虚拟同构数据大小，将所述异构数据进行拆分，以使所述异构数据拆分为多个子异构数据，将所述每一个子异构数据作为每一个所述虚拟同构数据的净负荷数据，写入所述虚拟同构数据中，其中，所述子异构数据数据量小于等于所述虚拟同构数据量，且所述子异构数据具备拆分标识。

3.根据权利要求1所述的方法，其特征在于，所述云服务器通过虚拟化策略将所述异构数据虚拟化，生成所述源端不同实例的虚拟同构数据，包括：

通过存储虚拟化管理器SVM构建多个不同大小的虚拟卷，所述不同大小的虚拟卷为同构数据；

将所述异构数据依次封装至所述虚拟卷中，并建立索引指针，其中，所述索引指针用于将所述虚拟卷与所述异构数据进行关联，所述虚拟同构数据为所述虚拟卷与所述索引指针的集合。

4.根据权利要求2或3所述的方法，其特征在于，所述目的端分时将所述虚拟同构数据逆变换为异构数据，包括：

所述目的端对自身不同实例的资源占用率进行监控，当所述资源占用率低于预设阈值时，将所述虚拟同构数据依次进行逆封装，提取其中的异构数据，并进行校验，

或，

若校验失败，则通过所述索引指针在所述源端对应的实例中定向获取原始的所述异构数据；

当所述资源占用率高于所述预设阈值时，暂停所述逆变换操作。