[发明专利]在分布式大数据存储系统内进行数据传输的方法及系统

说明书

本发明公开了一种在分布式大数据存储系统内进行数据传输的方法及系统，所述方法包括：接收来自数据请求方的数据获取请求，确定数据获取请求所涉及的数据集合，促使服务存储节点创建包括至少两个缓冲存储段的缓冲存储区；按照从数据项的最高传输级别到最低传输级别的降序顺序依次对每个传输级别的数据项进行传输：从环状传输队列中位于队首的目标存储节点开始到位于队尾的目标存储节点为止，按照环状传输队列的队列顺序依次将每个目标存储节点所存储的多个数据项中当前传输级别的至少一个数据项传输到所述服务存储节点；以及所述服务存储节点按照数据项的接收时间将接收到的数据项按照缓冲存储段的顺序号保存到当前顺序号的缓冲存储段中。

技术领域

本发明涉及大数据计算和大数据存储领域，并且更具体地，涉及一种在分布式大数据存储系统内进行数据传输的方法及系统。

背景技术

目前，在大数据计算和大数据存储领域，用户所需求的通常存储在分布式大数据存储系统内多个存储节点上。在特定情况下，由于分布式大数据存储系统内部的网络传输延迟较低，而分布式大数据存储系统内存储节点与用户所在网络或所使用的设备的网络延迟较高。为此，现有技术需要能够针对用户的大量数据获取请求提供低延迟传输的方案。并且另一方面，在分布式大数据存储系统需要对各个存储节点上的数据进行协调，以保证各个存储节点能够以较为平衡、均匀的方式进行数据传输

发明内容

根据本发明的一个方面，提供一种在分布式大数据存储系统内进行数据传输的方法，所述方法包括：

接收来自数据请求方的数据获取请求，其中所述数据获取请求包括：数据请求方标识、数据请求方地址以及数据检索条件；

根据数据请求方标识对所述数据请求方进行身份验证，根据身份验证的结果确定所述数据请求方是否具有使用所述数据获取请求中的数据检索条件来获取数据的权限；

当身份验证的结果指示所述数据请求方具有使用所述数据获取请求中的数据检索条件来获取数据的权限时，根据所述数据检索条件来确定所述数据获取请求所涉及的包括多个数据项的数据集合；

确定所述数据集合中的所有数据项的总尺寸，根据所述总尺寸和所述数据请求方地址从所述分布式大数据存储系统内多个存储节点中选择一个存储节点以作为所述数据请求方选择服务存储节点；

向所述服务存储节点发送所述数据请求方地址和所述总尺寸，促使所述服务存储节点根据所述数据请求方地址和所述总尺寸来创建缓冲存储区并将所述缓冲存储区分为至少两个缓冲存储段，并且为每个缓冲存储段设置用于指示存储顺序的顺序号；

从所述服务存储节点接收包括缓冲存储段的数量和尺寸的响应消息，并对所述数据集合中每个数据项所归属的目标存储节点进行统计，以确定所述数据集合所涉及的多个目标存储节点；

将包括所述数据集合中每个数据项的目录信息以及所述缓冲存储段的尺寸和数量的数据传输指示消息发送给多个目标存储节点中的每个目标存储节点；

每个目标存储节点根据目录信息确定自身所存储的并与数据传输相关联的多个数据项，确定多个数据项中每个数据项的尺寸并且基于每个数据项的尺寸计算每个目标存储节点自身所存储的多个数据项的总尺寸；

每个目标存储节点根据自身所存储的多个数据项的总尺寸和所述缓冲存储段的尺寸为每个数据项设置传输级别，其中传输级别的数量小于所述缓冲存储段的数量并且不同的传输级别用于指示向服务存储节点发送数据项时不同的传输顺序；

响应于每个目标存储节点为自身所存储的每个数据项设置传输级别的完成，按照每个目标存储节点与服务存储节点的网络延迟为每个目标存储节点设置向服务存储节点进行数据传输的传输顺序，以形成环状传输队列；