[发明专利]用于分布式系统的数据处理方法及装置

权利要求书

1.一种用于分布式系统的数据处理方法，该分布式系统包括一个主存储节点以及多个从存储节点，所述方法包括：

响应于写入数据文件的请求，在所述多个从存储节点上存储所述数据文件的多个副本，每个所述副本划分为大小相同的数据块，其中至少两个副本所划分出的数据块大小不同；

存储所述多个副本的分布信息,

其中，所述分布式系统还包括一个主计算节点以及多个从计算节点，所述方法还包括：

获取包含可用计算单元数量以及所述多个副本的分布信息的运行时信息，所述计算单元是所述从计算节点所包括的可分配的计算资源；

响应于读取数据文件的请求，根据所述运行时信息确定副本读取策略，所述根据所述运行时信息确定所述副本读取策略包括：

确定出最大程度利用所述可用计算单元的副本集合；

根据每个副本的数据块大小以及副本的获取成本确定所述副本集合中每个副本的特征值；

根据所述特征值确定要读取的副本。

2.根据权利要求1所述的方法，所述副本读取策略可以最大程度利用可用计算单元并且读取的副本的数据块最大。

3.根据权利要求2所述的方法，其中，采用贪婪算法确定所述副本读取策略以最大程度利用可用计算单元并且读取的副本的数据块最大。

4.根据权利要求1所述的方法，至少使用以下方式中的一种确定所述获取成本：

该副本所在的从存储节点的忙碌程度；

该副本所在的从存储节点至所述可用计算单元所在的从计算节点的距离。

5.根据权利要求1所述的方法，所述响应于写入数据文件的请求，在所述多个从存储节点上存储所述数据文件的多个副本包括：

响应于写入所述数据文件的一个数据块的写入请求，确定该数据块的放置策略，该放置策略包括用于存放该数据块的从存储节点列表；

由该从存储节点列表中的任一从存储节点接收该数据块，并通过该任一从存储节点将该数据块传送至其它从存储节点，直至创建完所需数量的副本。

6.根据权利要求1所述的方法，其中，将一个副本所包括的多个数据块存储在不同的从存储节点上。

7.根据权利要求1所述的方法，所述数据块的大小是可配置的。

8.一种用于分布式系统的数据处理装置，该分布式系统包括一个主存储节点以及多个从存储节点，所述装置包括：

数据文件存储模块，配置为响应于写入数据文件的请求，在所述多个从存储节点上存储所述数据文件的多个副本，每个所述副本划分为大小相同的数据块，其中至少两个副本所划分出的数据块大小不同；

分布信息存储模块，配置为存储所述多个副本的分布信息，

其中，所述分布式系统还包括一个主计算节点以及多个从计算节点，

所述装置还包括：

配置为获取包含可用计算单元数量以及所述多个副本的分布信息的运行时信息的模块，所述计算单元是所述从计算节点所包括的可分配的计算资源；

配置为响应于读取数据文件的请求，根据所述运行时信息确定副本读取策略的模块，

所述配置为响应于读取数据文件的请求，根据所述运行时信息确定副本读取策略的模块包括：

配置为确定出最大程度利用所述可用计算单元的副本集合的模块；

配置为根据每个副本的数据块大小以及副本的获取成本确定所述副本集合中每个副本的特征值的模块；

配置为根据所述特征值确定要读取的副本的模块。

9.根据权利要求8所述的装置，所述副本读取策略可以最大程度利用可用计算单元并且读取的副本的数据块最大。

10.根据权利要求9所述的装置，其中，采用贪婪算法确定所述副本读取策略以最大程度利用可用计算单元并且读取的副本的数据块最大。

11.根据权利要求10所述的装置，至少使用以下方式中的一种确定所述获取成本：

该副本所在的从存储节点的忙碌程度；

该副本所在的从存储节点至所述可用计算单元所在的从计算节点的距离。