[发明专利]节点间的数据同步方法、数据同步装置及数据同步设备

说明书

本发明公开了一种节点间的数据同步方法，基于监控节点实现，首先在各节点进行实时增量同步部署，以实现各节点间的实时增量同步，实现了数据同步过程占用带宽最小化，同时，监听节点间的增量数据的传输过程，当增量数据传输失败时，记录增量数据传输失败的信息，在此基础上，便于由人工或机器监督传输失败的增量数据，对其进行后续处理，因此保证了节点间数据同步的准确性。可见本发明提供的节点间的数据同步方法既保证了节点间数据同步的准确性，又减少了所需网络带宽。本发明还公开了一种节点间的数据同步装置、数据同步设备及计算机可读存储介质，具有上述有益效果。

技术领域

本发明涉及数据存储技术领域，特别是涉及一种节点间的数据同步方法、数据同步装置、数据同步设备及计算机可读存储介质。

背景技术

随着互联网的快速发展，海量数据的出现和数据结构的改变，给各行各业在数据处理问题上带来了巨大的挑战。数据的同步处理是一项极为常见而重要的数据处理工作，其中涉及到数据从一个位置到另一个位置的迁移过程。数据同步任务的数据迁移过程，一开始是由人工手动进行迁移的，不仅耗费人力，可应用场所还有限。进而出现了采用自动化工具进行数据全量导入的方式，如采用定时任务调用FTP协议批量上传特定文件夹，但随着数据量的增大，这会给网络带宽带来极大压力，且稳定性较差，还对服务搭建要求较高。

对此，实时增量传输的概念应运而生，即实时监听数据源端是否存在增量数据，每次只传输增量数据。但这种数据同步方式存在的问题是当传输失败时，数据源端和数据目的端会出现数据差异。为此，现有技术提供的解决办法是实时增量传输和定时全量传输结合，即进行一段时间的实时增量传输后，再进行一次全量传输，保证数据源端和数据目的端的数据一致性。

可以看到，现有技术在数据同步这个问题上不能保证实时增量传输的准确性，还需要引入占用带宽较大的全量传输保证数据同步的准确性，随着数据量的增长，还是会对网络带宽产生较大压力，造成网络带宽的浪费。

发明内容

本发明的目的是提供一种节点间的数据同步方法、数据同步装置、数据同步设备及计算机可读存储介质，用于既保证节点间数据同步的准确性，又减少所需网络带宽。

为解决上述技术问题，本发明提供一种节点间的数据同步方法，基于监控节点，包括：

预先在各节点进行实时增量同步部署，以实现各所述节点间的实时增量同步；

监听所述节点间的增量数据的传输过程；

当所述增量数据传输失败时，记录所述增量数据传输失败的信息。

可选的，还包括：

在监听到所述增量数据时，将所述增量数据存储于预设数据空间；

控制所述预设数据空间中传输失败的增量数据在预设时间进行再次传输。

可选的，所述预先在各节点进行实时增量同步部署，以实现各所述节点间的实时增量同步，具体包括：

接收对所述实时增量同步部署的配置；

根据所述配置和预设的配置模板生成配置文件；

将所述配置文件发送至各所述节点以进行所述实时增量同步部署，以实现各所述节点间的实时增量同步。

可选的，在所述将所述配置文件发送至各所述节点以进行所述实时增量同步部署之前，还包括：

将所述配置文件进行加密，得到加密后的配置文件；

相应的，所述将所述配置文件发送至各所述节点以进行所述实时增量同步部署，具体为：

将所述加密后的配置文件发送至各所述节点，以使各所述节点对所述加密后的配置文件进行解密后执行所述实时增量同步部署。