[发明专利]一种分布式系统及其数据操作方法

说明书

技术领域

本发明涉及计算机技术领域，特别是涉及分布式系统中存取副本时获取副本所对应存储节点的方法及应用该方法的分布式系统。

背景技术

分布式文件系统是一种基于计算机存储节点进行本地存储构建的分布式存储系统。其与传统的存储系统相比，具有存储性价比高、可扩展性强等优点。

现有的分布式文件系统通常由元数据节点和多个存储节点组成。其中，元数据节点用于保存各个文件的数据分块情况、各个数据块所在的存储节点的名称，以及每个存储节点上包含的数据块的信息等。存储节点用于保存实际的数据块，通常每个数据块大小为64MB或128MB。存储节点会定期地把存储在本地的数据块发送给元数据节点，以使得元数据节点能够感知分布式文件系统中所有文件的数据存储位置。当客户端需要对上述分布式文件系统进行数据存取操作时，首先通过元数据节点获取或建立文件的数据块的位置；然后直接与相应数据块所在的存储节点进行通信，进行读写数据块等操作。

对于现有的分布式文件系统，为了提高系统可靠性和数据可用性，分布式文件系统通常采用多份副本的方式保存数据块，例如，对于同一个数据块，可以在不同的存储节点保存三个或更多个副本，其中，每一个副本存储在一台存储节点上。这样，每个文件的内容都被存储在了多个存储节点上，一旦个别存储节点宕机，整个文件的数据仍然可以从存储该文件的其他副本的存储节点上获取。

当客户端需要向分布式文件系统写一个文件时，客户端首先和元数据节点通信，从元数据节点获取该文件对应块的位置，即存储这个文件所对应块的存储节点列表。存储节点列表指示了同一份数据需要写到不同的存储节点上，即同一份数据在不同的存储节点上存在多个副本。客户端随即从返回的存储节点列表中选择网络地址上最近的那个存储节点，然后将数据写给该存储节点，并同时告知该存储节点，还需要将这份数据写给哪些存储节点。之后，该存储节点重复上述的存储过程，直到存储节点列表中的所有存储节点都完成存储为止。

发明内容

本发明提供了一种分布式文件系统，其能够在现有分布式文件系统的基础上考虑文件存储操作时的节点本地性、计算负载以及容量负载。

一种分布式系统，包括：

客户端，用于向主节点发送数据操作请求；

主节点，用于响应于客户端的请求获取存储节点列表，并将存储节点列表发送给客户端；

多个存储节点，用于存储客户端所请求操作的数据；

多个计算节点，用于执行由主节点基于用户的数据操作请求分配的计算任务；

其中，主节点在获取存储节点列表时，应用副本位置选择策略，来选择数据副本所对应的存储节点；

所述副本位置选择策略包括下述方式的至少一种：选择容量负载小的存储节点；选择计算负载小的计算节点；以及选择本地性差的存储节点。

其中，所述主节点在获取存储节点列表时，基于主节点中保存的分布式系统的元数据信息来应用副本位置选择策略。

其中，所述分布式系统的元数据信息包括存储节点的状态信息和/或计算节点的状态信息。

其中，所述存储节点列表包括至少一个副本位置信息。

其中，所述至少一个副本位置信息包括第一个副本位置信息，该第一个副本位置信息通过如下方式获得：

首先判断客户端是否在集群中，如果不在集群中，则在全局范围内应用副本位置选择策略选择一个存储节点；如果在集群中，则选择客户端所在的存储节点。

其中，在选择客户端所在的存储节点之前，还考虑该存储节点的容量负载，如果该存储节点不合适，则应用副本位置选择策略选择和客户端在同一个机架下的存储节点。

其中，所述至少一个副本位置信息还包括第二个副本位置信息，该第二个副本位置信息通过如下方式获得：

应用副本位置选择策略选择同第一个副本所在的存储节点所在的不同机架上的存储节点，如果选择不出来，则在和第一个副本所在存储节点所在的机架，应用副本位置选择策略选择一个存储节点。

其中，所述至少一个副本位置信息还包括第三个副本位置信息，该第三个副本位置信息通过如下方式获得：如果第一个副本所在的存储节点和第二个副本所在的存储节点在同一个机架上，则在第一个副本所在的存储节点所在的不同机架上，应用副本位置选择策略选择一个存储节点；否则，在和第二个副本所在的存储节点所在的机架上应用副本位置选择策略选择一个存储节点。