[发明专利]在分布式大数据存储系统内进行数据传输的方法及系统

摘要

本发明公开了一种在分布式大数据存储系统内进行数据传输的方法及系统，所述方法包括：接收来自数据请求方的数据获取请求，确定数据获取请求所涉及的数据集合，促使服务存储节点创建包括至少两个缓冲存储段的缓冲存储区；按照从数据项的最高传输级别到最低传输级别的降序顺序依次对每个传输级别的数据项进行传输：从环状传输队列中位于队首的目标存储节点开始到位于队尾的目标存储节点为止，按照环状传输队列的队列顺序依次将每个目标存储节点所存储的多个数据项中当前传输级别的至少一个数据项传输到所述服务存储节点；以及所述服务存储节点按照数据项的接收时间将接收到的数据项按照缓冲存储段的顺序号保存到当前顺序号的缓冲存储段中。

主权项

1.一种在分布式大数据存储系统内进行数据传输的方法，所述方法包括：接收来自数据请求方的数据获取请求，其中所述数据获取请求包括：数据请求方标识、数据请求方地址以及数据检索条件；根据数据请求方标识对所述数据请求方进行身份验证，根据身份验证的结果确定所述数据请求方是否具有使用所述数据获取请求中的数据检索条件来获取数据的权限；当身份验证的结果指示所述数据请求方具有使用所述数据获取请求中的数据检索条件来获取数据的权限时，根据所述数据检索条件来确定所述数据获取请求所涉及的包括多个数据项的数据集合；确定所述数据集合中的所有数据项的总尺寸，根据所述总尺寸和所述数据请求方地址从所述分布式大数据存储系统内多个存储节点中选择一个存储节点以作为所述数据请求方选择服务存储节点；向所述服务存储节点发送所述数据请求方地址和所述总尺寸，促使所述服务存储节点根据所述数据请求方地址和所述总尺寸来创建缓冲存储区并将所述缓冲存储区分为至少两个缓冲存储段，并且为每个缓冲存储段设置用于指示存储顺序的顺序号；从所述服务存储节点接收包括缓冲存储段的数量和尺寸的响应消息，并对所述数据集合中每个数据项所归属的目标存储节点进行统计，以确定所述数据集合所涉及的多个目标存储节点；将包括所述数据集合中每个数据项的目录信息以及所述缓冲存储段的尺寸和数量的数据传输指示消息发送给多个目标存储节点中的每个目标存储节点；每个目标存储节点根据目录信息确定自身所存储的并与数据传输相关联的多个数据项，确定多个数据项中每个数据项的尺寸并且基于每个数据项的尺寸计算自身所存储的多个数据项的总尺寸；每个目标存储节点根据自身所存储的多个数据项的总尺寸和所述缓冲存储段的尺寸为每个数据项设置传输级别，其中传输级别的数量小于所述缓冲存储段的数量并且不同的传输级别用于指示向服务存储节点发送数据项时不同的传输顺序；响应于每个目标存储节点为自身所存储的每个数据项设置传输级别的完成，为多个目标存储节点设置向服务存储节点进行数据传输的传输顺序，以形成环状传输队列；按照从数据项的最高传输级别到最低传输级别的降序顺序依次对每个传输级别的数据项进行传输：从环状传输队列中位于队首的目标存储节点开始到位于队尾的目标存储节点为止，按照环状传输队列的队列顺序依次将每个目标存储节点所存储的多个数据项中当前传输级别的至少一个数据项全部传输到所述服务存储节点；其中当前传输级别是从最高传输级别到最低传输级别的多个传输级别中的一个，并且其中在当前的目标存储节点将当前传输级别的至少一个数据项全部传输到所述服务存储节点之后，促使环状传输队列中所述当前的目标存储节点的下一目标存储节点开始进行数据传输；以及所述服务存储节点按照数据项的接收时间将接收到的数据项按照缓冲存储段的顺序号保存到当前顺序号的缓冲存储段中：在判断当前顺序号的缓冲存储段已经不具有对当前接收的数据项进行存储的剩余存储空间时，将所述当前顺序号的缓冲存储段中的所有数据项发送给数据请求方，将所述当前接收的数据项存储到下一顺序号的缓冲存储段中，并且将所述下一顺序号作为当前顺序号；当所述缓冲存储区中当前顺序号的缓冲存储段在预定时间内没有接收到数据项时，将所述当前顺序号的缓冲存储段的所有数据项发送给数据请求方。