[发明专利]基于广播机制实现数据同步的方法及装置

说明书

本发明提供一种基于广播机制实现数据同步的方法及装置，该方法包括：获取待同步的数据文件；压缩数据文件；将经压缩的数据文件平均分割为多个文件块，并将分割得到的文件块映射到对应的数据结构中，数据结构的每个节点对应一个文件块；将文件块以数据消息的形式广播至与数据文件的业务类型对应的目标节点，其中，目标节点根据数据结构中节点的顺序将接收的文件块合并，并解压缩合并后的文件块，从而得到数据文件。本发明能够有效自动实现将待同步的数据进行高效压缩，并通过分布式应用进行分块处理，然后使用广播将分块数据分发到多个目标节点，最后在目标节点中合并和解压缩，最终实现数据文件的同步，保证了数据同步的性能和数据安全的可靠性。

技术领域

本发明涉及计算机网络及计算机软件领域，具体涉及一种基于广播机制实现数据同步的方法及装置。

背景技术

随着大数据信息时代的到来，任何行业的数据都是以暴涨的形式增长，并且企业的各业务系统之间的数据同步，以及各子业务系统与核心业务系统之间数据同步的需求也日渐凸显。

目前对于大数据同步方案大致包括：

(1)导出数据源的数据文件；

(2)将数据源的数据文件复制到目标节点上；

(3)在目标节点上将数据文件导入到目标数据源中。

然而，上述现有技术也存在如下缺点：

(1)该方案仅支持一对一操作，无法将数据源的数据文件同步到多个目标数据源中；

(2)操作过程中容易出错，一旦出错将到时导致数据丢失、错误；

(3)如果数据源的数据量很大，则将消耗大量的CUP、内存、带宽等资源。

发明内容

有鉴于此，本发明的目的在于提供一种基于广播机制实现数据同步的方法及装置，以解决现有技术中存在的上述缺陷。

本发明的技术方案是提供一种基于广播机制实现数据同步的方法，该方法包括：

获取待同步的数据文件；

压缩所述数据文件；

将经压缩的所述数据文件平均分割为多个文件块，并将分割得到的文件块映射到对应的数据结构中，所述数据结构的每个节点对应一个文件块；

将所述文件块以数据消息的形式广播至与所述数据文件的业务类型对应的目标节点，其中，所述目标节点根据所述数据结构中节点的顺序将接收的所述文件块合并，并解压缩合并后的所述文件块，从而得到所述数据文件。

可选地，所述数据结构包括但不限于：集合、链表、堆栈。

可选地，在将所述文件块映射到对应的所述链表的过程中，按照预设命名规则对所述文件块命名，所述链表的存储格式为key-value型。

可选地，该方法还包括：在将接收的所述文件块合并生成所述数据文件的过程中，将所述文件块按照所述预设命名规则合并和解压缩，生成所述数据文件。

本发明还提供一种基于广播机制实现数据同步的装置，所述装置包括：

数据采集模块，用于获取待同步的数据文件；

数据压缩模块，用于压缩所述数据文件；

数据分割模块，用于将经压缩的所述数据文件平均分割为多个文件块，并将分割得到的文件块映射到对应的数据结构中，所述数据结构的每个节点对应一个文件块；

数据同步模块，用于将所述文件块以数据消息的形式广播至与所述数据文件的业务类型对应的目标节点，其中，所述目标节点根据所述数据结构中节点的顺序将接收的所述文件块合并，并解压缩合并后的所述文件块，从而得到所述数据文件。