[发明专利]一种数据同步方法、系统、设备以及介质

说明书

本发明公开了一种数据同步方法，包括以下步骤：对每一个存储服务对应的插件的参数进行配置并根据配置后的参数将每一个插件安装在对应的存储服务中；利用源存储服务中的插件接收第一数据同步请求并判断第一数据同步请求中携带的第一用户是否具备对应的读权限；响应于第一用户具备对应的读权限，读取待同步数据并利用源存储服务中的插件将待同步数据发送到管理平台；利用目的存储服务中的插件接收第二数据同步请求并判断第二数据同步请求中携带的第二用户是否具备对应的写权限；响应于第二用户具备对应的写权限，利用目的存储服务中的插件将待同步数据写入到目的存储服务中。本发明还公开了一种系统、计算机设备以及可读存储介质。

技术领域

本发明涉及数据同步领域，具体涉及一种数据同步方法、系统、设备以及存储介质。

背景技术

在大数据领域，开源大数据解决方案还不能很好的解决集群内和集群间的数据同步问题，没有实现关系型数据库(MySQL、Oracle等)、NoSQL数据存储(Redis、MongoDB、HBase等)、无结构化数据存储(HDFS、Node(服务器之间)等)、时间序列数据库(TSDB、OpenTSDB等)、消息系统(Kafka)、数据仓库(Hive)等两两服务之间借助大数据同步平台进行的数据同步。在大数据服务广泛使用的过程中，在数据采集，数据容灾备份、数据迁移等场景中，数据同步显得尤为重要，但是目前数据迁移还是具体场景具体写代码进行完成，没有一个独立的，完整的，兼容多个场景的解决方案。因此一个统一的，解决数据同步混乱场景的大数据同步平台，统一处理数据同步装置是目前亟待解决的问题。

发明内容

有鉴于此，为了克服上述问题的至少一个方面，本发明实施例提出一种数据同步方法，包括以下步骤：

对每一个存储服务对应的插件的参数进行配置并根据配置后的参数将每一个插件安装在对应的存储服务中；

利用源存储服务中的插件接收第一数据同步请求并判断所述第一数据同步请求中携带的第一用户是否具备对应的读权限；

响应于所述第一用户具备对应的读权限，读取待同步数据并利用所述源存储服务中的插件将所述待同步数据发送到管理平台；

利用目的存储服务中的插件接收第二数据同步请求并判断所述第二数据同步请求中携带的第二用户是否具备对应的写权限；

响应于所述第二用户具备对应的写权限，利用目的存储服务中的插件将所述待同步数据写入到所述目的存储服务中。

在一些实施例中，对每一个存储服务对应的插件的参数进行配置并根据配置后的参数将每一个插件安装在对应的存储服务中，进一步包括：

对每一个存储服务对应的插件的安装位置信息、链接信息、元数据存储位置信息以及用户同步参数进行配置。

在一些实施例中，还包括：

根据每一个插件配置的用户同步参数将对应的存储服务中若干个用户的信息同步到所述管理平台中的用户管理中心；

将每一个存储服务中的数据资源信息同步到所述管理平台中的资源管理中心。

在一些实施例中，还包括：

通过所述用户管理中心创建新用户并根据对所述新用户配置的归属参数利用对应插件将所述新用户同步到对应的存储服务中。

在一些实施例中，还包括：

利用所述管理平台中的权限管理中心根据所述资源管理中心中每一个存储服务的数据资源为所述用户管理中心的用户进行数据资源分配以及读写权限分配；

利用对应的插件将所述权限管理中心为所述新用户分配的读写权限同步到对应的存储服务中。

在一些实施例中，还包括：