[发明专利]一种数据传输方法、分布式系统中复制数据的方法及装置

说明书

本申请提供了一种数据传输方法、分布式系统中复制数据的方法及装置，如果与第一节点属于同一个集群的第二节点正在获取第一节点待复制的数据，则根据第二节点获取所述待复制数据所需的时间，确定所述第一节点从所述源节点或者从所述第二节点来复制所述待复制的数据。因此，第一节点有可能从第二节点复制数据，因为第一节点与第二节点属于同一个集群，因此，能够降低数据传输的代价。

技术领域

本申请涉及通信领域，尤其涉及一种数据传输方法、分布式系统中复制数据的方法及装置。

背景技术

图1为一种典型的分布式系统的结构，其中，集群A和集群B部署在城市1，集群C、集群D和集群E部署在城市2，集群F和集群G部署在城市3。随着数据业务的增长，不同城市之间的集群难免要面临相互传输数据的需求。例如，集群A、集群C和集群D中分别部署有不同的业务单元，不同的业务单元之间彼此依赖，即集群A中的数据被集群C和集群D中的业务单元依赖，则需要集群A将数据传输到集群C和集群D。

然而，在多集群场景中，由于地域远近的不同，相同的数据从不同的源集群传输到相同的目的集群的代价是不同的，因此，如何降低数据传输的代价，成为目前亟待解决的问题。

发明内容

本申请提供了一种数据传输方法及装置，目的在于解决如何降低数据传输的代价的问题。

为了实现上述目的，本申请提供了以下技术方案：

一种分布式系统中复制数据的方法，包括：

获取第一节点待复制的数据的复制信息，所述复制信息包括所述数据所在的源节点，以及所述数据的标识；

基于所述数据的标识，确定所述第一节点所属的集群中是否存在第二节点，所述第二节点为所述第一节点所属的集群中正在复制所述待复制的数据的节点；

确定为是时，根据所述第二节点获取所述待复制数据所需的时间，确定所述第一节点从所述源节点或者从所述第二节点来复制所述待复制的数据。

一种数据传输方法，应用在分布式系统中，所述分布式系统包括多个节点，包括：

在第一节点将要向目的节点传输数据的情况下，如果存在第二节点且所述第二节点至少存储所述数据的一部分，则在预设的时长内，从所述第二节点向所述目的节点传输所述数据；

其中，所述第二节点到所述目的节点的距离小于所述第一节点到所述目的节点的距离，或者，所述第二节点与所述目的节点的之间的带宽小于所述第一节点与所述目的节点之间的带宽。

可选的，所述如果存在第二节点且所述第二节点至少存储所述数据的一部分，则在预设的时长内，从所述第二节点向所述目的节点传输所述数据包括：

如果存在所述第二节点，并且所述第二节点正在或将要从所述第一节点接收所述数据，则等待所述预设的时长；

如果所述第二节点在所述预设的时长内完成所述数据的接收，从所述第二节点向所述目的节点传输所述数据。

可选的，还包括：

如果所述第二节点没有在所述预设的时长内完成所述数据的接收，从所述第一节点向所述目的节点传输所述数据。

可选的，所述如果存在第二节点且所述第二节点至少存储所述数据的一部分，则在预设的时长内，从所述第二节点向所述目的节点传输所述数据包括：

如果存在所述第二节点，并且所述第二节点中已存储所述数据，则在所述预设的时长内，从所述第二节点向所述目的节点传输所述数据。

可选的，确定所述存在第二节点的过程包括：