[发明专利]一种数据同步方法及装置

说明书

本发明公开了一种数据同步方法及装置，涉及计算机技术领域，主要目的在于使得数据同步过程中不影响用户的数据查询，保证了数据查询结果的准确性，本发明的主要技术方案为：创建共享目录，所述共享目录用于存储集群间需要同步的数据对应的文件标识；根据所述共享目录中的文件标识将集群间需要同步的数据进行同步；更新同步后的数据在数据库中对应的数据路径，所述数据库中记录有数据在集群中的路径信息。本发明主要用于数据的同步。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据同步方法及装置。

背景技术

随着计算机技术的快速发展，数据已经渗透到当今的各个行业以及业务职能领域，而云时代的到来吸引了更多对大数据的关注，一般会有多台数据服务器的集群来存储数据，并同时提供数据的读写服务，因此，如何实现集群中数据的同步一直是关注的重点。

集群中数据的同步离不开集群的工作分工，集群工作分工是非常重要的，通过工作分工让不同集群做各自的工作，能极大提升集群工作效率。例如，现在有一个大集群，同时负责数据的计算和用户的查询，当集群计算数据时需要大量读取和写入操作时，会存在CPU占用率高的问题，另外，由于底层使用的是同一个文件系统，必然会影响数据查询速度。而如果将集群分为A集群和B集群后，A集群用于对收集来的数据进行计算，生成数据，B集群用于去A集群中拷贝数据来实现同步数据，以供用户查询，使得写入和读取数据分离开，则会极大地提升数据查询速度。

然而，通过集群中数据的同步，集群中的数据会有所变化，集群A的数据在拷贝到集群B后，集群B中增加了拷贝后的数据，而当用户再次查询数据时，由于数据位置的变化使得用户无法查询到同步后数据，进而导致生成的数据查询结果不准确。

发明内容

有鉴于此，本发明提供一种数据同步方法及装置，主要目的在于使得数据同步过程中不影响用户的数据查询，保证了数据查询结果的准确性。

为了解决上述问题，本发明主要提供如下技术方案：

一方面，本发明实施例提供了一种数据同步方法，包括：

创建共享目录，所述共享目录用于存储集群间需要同步的数据对应的文件标识；

根据所述共享目录中的文件标识将集群间需要同步的数据进行同步；

更新同步后的数据在数据库中对应的数据路径，所述数据库中记录有数据在集群中的路径信息。

进一步地，在所述根据所述共享目录中的文件标识将集群间需要同步的数据进行同步之前，所述方法还包括：

按照预设时间间隔检测所述共享目录中是否存在文件标识；

如果是，则获取文件锁，启动并行同步任务。

进一步地，在所述更新同步后的数据在数据库中对应的数据路径之后，所述方法还包括：

通过查询所述共享目录，校验所述同步后的数据是否一致；

如果不一致，则从所述共享目录中获取同步失败数据对应的文件标识，根据所述文件标识将所述同步失败数据再次进行同步；

如果一致，则释放文件锁，清空所述共享目录。

进一步地，所述根据所述文件标识将所述同步失败数据再次进行同步包括：

根据所述文件标识从第一集群中获取所述同步失败数据；

采用串行同步的方式将所述第一集群中同步失败数据同步至第二集群中。

进一步地，在所述根据所述文件标识将所述同步失败数据再次进行同步之后，所述方法还包括：

通过查询所述共享目录中同步失败数据对应的文件标识，校验再次同步后的数据是否一致；