[发明专利]在分布式存储系统中写入数据副本的方法、装置及其系统

说明书

技术领域

本发明涉及通信领域，特别涉及一种在分布式存储系统中写入数据副本的方法、装置及其系统。

背景技术

近年来，随着云存储技术的发展，可扩展成本低的分布式存储方法收到广泛关注。考虑到单个存储节点出现故障时系统数据的可靠性问题，通常，一份数据会在多个存储节点上存储。目前分布式存储系统在存储多副本的情况下，写入数据通常采用并发写入模式和串行写入模式，这两种方法在副本数量较多时都存在明显缺陷，前者的缺点是并发同时向多个副本的存储节点写入数据会导致网络带宽不足，且平均到每个存储节点上的带宽非常小，后者的缺点是多副本情况下数据需要在多个存储节点之间串行传递，且副本位于不同的网络节点，使得传输延时非常高。

发明内容

本发明的目的在于提供一种在分布式存储系统中写入数据副本的方法、装置及其系统，能够根据实际需求调节将副本写入分布式存储系统时所需的网络带宽或者传输延时，有效解决多副本写入分布式存储系统时，存储网络带宽不足或者网络传输延时过高的问题。

为解决上述技术问题，本发明的实施方式公开了一种在分布式存储系统中写入多个数据副本的方法，该方法包括以下步骤：

获取步骤，获取待写入数据和与该待写入数据相对应的存储节点信息；

写入步骤，根据获取的存储节点信息，将待写入数据写入由多个存储节点组成的存储节点集中以存储待写入数据的多个副本；

其中，存储节点信息为表示存储节点集中各存储节点间的传输关系的信息；并且

存储节点集包括至少两个级别的存储节点，至少两个级别的存储节点包括至少一个一级存储节点和至少两个由该一级存储节点传输待写入数据的二级存储节点。

此外，在一实例中，该方法还包括以下步骤：

设置步骤，设置存储节点间的传输关系，以得到副本的存储节点信息，其中，存储节点的数目与待写入数据需保存的副本数目相同。

此外，在一实例中，上述设置步骤包括以下子步骤：

设置子步骤，根据存储节点的带宽和在将待写入数据写入存储节点中时单次写入的数据包的大小，设置存储节点间的传输关系。

此外，在一实例中，每个存储节点的带宽相同；并且在设置步骤的设置子步骤之后，还包括以下子步骤：

第一调整子步骤，如果单次写入的数据包的大小大于预定大小阈值，则调整增加存储节点集中存储节点的级别数。

此外，在一实例中，在设置步骤的设置子步骤之后，还包括以下子步骤：

第二调整子步骤，如果将待写入数据写入存储节点集中的存储节点的写入延时大于预定延时阈值，则调整减少存储节点集中存储节点的级别数。

此外，在一实例中，在设置步骤的设置子步骤之后，还包括以下子步骤：

第三调整子步骤，如果写入待写入数据的最小写入带宽小于预定带宽，则调整增加存储节点集中存储节点的级别数。

最小写入带宽是指在将待写入数据写入存储节点集中的各存储节点中时，各存储节点接收写入数据所具有的网络带宽中的最小网络带宽。

本发明的实施方式还公开了一种在分布式存储系统中写入多个数据副本的装置，包括：

获取单元，用于获取待写入数据和与该待写入数据相对应的存储节点信息；

写入单元，用于根据获取的存储节点信息，将待写入数据写入由多个存储节点组成的存储节点集中以存储待写入数据的多个副本；

其中，存储节点信息为表示存储节点集中各存储节点间的传输关系的信息；并且

存储节点集包括至少两个级别的存储节点，至少两个级别的存储节点包括至少一个一级存储节点和至少两个由该一级存储节点传输待写入数据的二级存储节点。

能够根据实际需求调节将副本写入分布式存储系统时所需的网络带宽或者传输延时，有效解决多副本写入分布式存储系统时，存储网络带宽不足或者网络传输延时过高的问题。

此外，在一实例中，该装置还包括：

设置单元，用于设置存储节点间的传输关系，以得到副本的存储节点信息。

此外，在一实例中，该装置的设置单元包括以下子单元：

设置子单元，用于根据存储节点的带宽和在将待写入数据写入存储节点中时单次写入的数据包的大小，设置存储节点间的传输关系；

第一调整子单元，用于在单次写入的数据包的大小大于预定大小阈值时调整增加存储节点集中存储节点的级别数；

第二调整子步骤，用于在将待写入数据写入存储节点集中的存储节点的写入延时大于预定延时阈值时调整减少存储节点集中存储节点的级别数。