[发明专利]文件数据分发方法、系统

说明书

本申请涉及一种文件数据分发方法、系统。方法包括：发送端获取接收端列表，并确定接收端列表中与发送端距离最近的目标接收端；接收端列表中的接收端是按照与发送端之间的距离排列的；发送端将待发送的文件数据块从发送端内核缓冲区复制到发送端网络层缓冲区，将发送端网络层缓冲区中的文件数据块发送至目标接收端，并存储于接收端内核缓冲区；目标接收端将文件数据块从接收端内核缓冲区复制到接收端网络层缓冲区，将接收端网络层缓冲区中的文件数据块发送至接收端列表中与发送端距离次近的接收端，直至各接收端均收到文件数据块。采用本方法能够提高文件数据分发的效率。

技术领域

本申请涉及计算机技术领域，特别是涉及一种文件数据分发方法、系统。

背景技术

随着计算机技术的发展，为了提高数据中心的安全性，通常在两个地域部署三个数据中心，例如，在地域A部署主数据中心和备数据中心，以实现数据中心级的故障切换；在地域B部署灾备数据中心，以实现异地容灾切换。

当需要从部署在主数据中心的发送端向多个部署在主数据中心或其他数据中心的接收端发送文件数据时，传统方法中，发送端使用linux脚本scp命令逐个向接收端分发文件数据或并行的同时向多个接收端分发文件数据，分发文件数据的速度受限于发送端的网络带宽，效率较低。并且发送端通过scp命令向接收端发送文件数据时，需要多次将文件数据在用户空间和内核空间中来回复制，复制过程占用了较多的CPU资源，发送效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高数据分发效率的文件数据分发方法、系统。

一种文件数据分发方法，所述方法包括：

发送端获取接收端列表，并确定所述接收端列表中与所述发送端距离最近的目标接收端；所述接收端列表中的接收端是按照与所述发送端之间的距离排列的；

所述发送端将待发送的文件数据块从发送端内核缓冲区复制到发送端网络层缓冲区，将所述发送端网络层缓冲区中的文件数据块发送至所述目标接收端，并存储于接收端内核缓冲区；

所述目标接收端将所述文件数据块从所述接收端内核缓冲区复制到接收端网络层缓冲区，将所述接收端网络层缓冲区中的文件数据块发送至所述接收端列表中与所述发送端距离次近的接收端，直至各接收端均收到所述文件数据块。

在一个实施例中，所述发送端获取接收端列表包括：

当接收到数据分发请求时，从所述数据分发请求中提取排序前接收端列表；

分别向所述排序前接收端列表中各接收端发送网络探测命令；

当接收到各接收端响应于所述网络探测命令返回的响应命令时，分别获取各所述接收端返回所述响应命令的响应时间；

根据所述响应时间对各所述接收端进行排序，得到所述接收端列表。

在一个实施例中，所述发送端与所述接收端列表中各接收端上均部署了对应的代理程序；

所述将所述发送端网络层缓冲区中的文件数据块发送至所述目标接收端包括：

通过部署在所述发送端上的代理程序将所述发送端网络层缓冲区中的文件数据块发送至部署在所述目标接收端上的代理程序；

所述将所述接收端网络层缓冲区中的文件数据块发送至所述接收端列表中与所述发送端距离次近的接收端包括：

通过部署在所述目标接收端上的代理程序将所述接收端网络层缓冲区中的文件数据块发送至与所述发送端距离次近的接收端上部署的代理程序。

在一个实施例中，所述接收端列表中接收端部署于主数据中心；所述发送端获取接收端列表之后，所述方法还包括：