[发明专利]一种对等网络传输邻居节点选择的方法及系统

说明书

本申请公开了一种对等网络传输邻居节点选择的方法，所述方法包括：将中心节点与集群中下载目标文件的目标节点建立连接，判断所述目标节点中是否存在未下载文件分片；若是，则查询目标节点的网络使用量和网卡总带宽；根据所述网络使用量和所述网卡总宽带计算目标节点的剩余带宽，并按照所述剩余带宽从大到小的顺序对所述目标节点进行排序得到排序表；选择所述排序表排序前N名的目标节点作为所述邻居节点；该方法能够在降低对集群任务正常运行影响的前提下提升数据分发速度；本申请还公开了一种对等网络传输邻居节点选择的系统、一种计算机可读存储介质及服务器，具有以上有益效果。

技术领域

本发明涉及数据存储领域，特别涉及一种对等网络传输邻居节点选择的方法、系统和一种计算机可读存储介质及服务器。

背景技术

数据中心是容纳了计算资源、网络连接、存储等相关组件的设施，为了稳定性和可用性,通常还包括冗余、备用电源以及空调等安全设施，并且特定的数据中心的设备往往配置非常高。节点间的数据传输是数据中心中最常见的问题，比如虚拟机镜像分发，以及并行计算时中间结果的传递，如何快速地在集群中的机器间传输数据也成为数据中心的热点之一。

BitTorrent(比特流)协议被广泛应用于互联网来进行文件交换，将一个文件分成很多小的分片，需要下载同一个文件的节点间通过彼此间交换该文件的分片来完成。当下载文件时，节点间通过使用文件下载策略决定交换分片的邻居并使用一个合适的顺序来交换分片，BitTorrent采取tit-for-tat(以牙还牙)机制来避免free-riders(自私者，仅下载数据不上传)。对片选算法而言，BitTorrent协议希望每个节点都有数据和其他节点进行交换。但是数据中心网络有其不同于互联网的特点，在互联网上的用户，因为计算机的网络资源和计算资源是有限的，在这种情况下用户都有使下载速率最大化而弱化上传速率的倾向，但是理论上整个集群中的下载总带宽与总上传带宽相同，每个参与者都倾向于索取而不想付出，最后的结果就是所有节点都得不到数据，为避免这种情况的发生，BitTorrent协议采用以牙还牙(tit-for-tat)的邻居节点选择算法能维持一定的数据传输速率。

在现有技术中，将以牙还牙(tit-for-tat)应用于数据中心环境中，不仅网络带宽要比互联上大很多，且集群中所有的机器都是在管理员统一调度下完成特定任务，在保证数据分发速度的同时还要留下足够的带宽供机器正常运行时彼此间进行的数据交换，比如运行Spark分布式计算任务时，节点也需要带宽保证中间结果的交换，使用互联网上基于以牙换牙策略的邻居节点选择算法，各节点为了尽快下载数据也会尽力上传，无疑会舍本逐末，极大的影响其上正在运行的任务。

因此，如何在降低对集群任务正常运行影响的前提下提升数据分发速度，是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种对等网络传输邻居节点选择的方法、系统和一种计算机可读存储介质及服务器，能够在降低对集群任务正常运行影响的前提下提升数据分发速度。

为解决上述技术问题，本申请提供一种对等网络传输邻居节点选择的方法，该方法包括：

将中心节点与集群中下载目标文件的目标节点建立连接，判断所述目标节点中是否存在未下载文件分片；

若是，则查询所述目标节点的网络使用量和网卡总带宽；

根据所述网络使用量和所述网卡总宽带计算所述目标节点的剩余带宽，并按照所述剩余带宽从大到小的顺序对所述目标节点进行排序得到排序表；

选择所述排序表排序前N名的目标节点作为所述邻居节点。

可选的，判断所述目标节点中是否存在未下载文件分片包括：

统计所述中心节点已下载的第一文件分片，并将所述第一文件分片以第一位数组的方式表示；