[发明专利]数据处理方法及相关装置

说明书

本发明涉及分布式存储技术领域，提供了一种数据处理方法及相关装置，所述方法包括：接收客户端发送的写数据请求；若第一目标存储块与最近一次写数据请求写入的存储块相同，且第一目标存储单元和最近一次写数据请求写入的第二目标存储单元位置相邻，则将第一目标存储单元合并入第二目标存储单元对应的第一目标存储段；将第一目标存储单元的版本号递增；若递增后的第一目标存储单元的版本号大于第一目标存储段的版本号，则用递增后的第一目标存储单元的版本号更新第一目标存储段的版本号并将更新后的第一目标存储段的版本号发送至元数据节点进行存储。本发明能够极大地减少版本号占用的存储空间，提高了元数据节点存储空间的利用效率。

技术领域

本发明涉及分布式存储技术领域，具体而言，涉及一种数据处理方法及相关装置。

背景技术

现有的分布式存储系统中，存储节点通常包括多个存储块，每一存储块包括多个存储单元，待存储的数据首先按照纠删码进行编码，得到多个数据块和至少一个校验块，然后将多个数据块和校验块发送至不同的存储节点，由存储节点将收到的数据块或者校验块存储至本地的存储块中的存储单元中，为了便于对存储块中的存储单元进行管理，现有技术利用元数据节点为每一存储单元存储对应的版本号，当存储单元中的数据发生变化时，将该存储单元的版本号递增，当存储节点包括的存储单元的数量很大时，记录存储单元的版本号占用的存储空间也会随之膨胀，从而降低了元数据节点存储空间的利用效率。

发明内容

本发明的目的在于提供了一种数据处理方法及相关装置，其能够在写数据时将位置相邻的存储单元合并为一个存储段，并为每个存储段记录一个版本号，从而可以极大地减少版本号占用的存储空间，提高了元数据节点存储空间的利用效率。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明提供一种数据处理方法，应用于分布式存储系统中的存储节点，存储节点包括多个存储块，每一存储块包括多个存储单元，分布式存储系统还包括客户端和元数据节点，存储节点与客户端及元数据节点均通信连接，所述方法包括：接收客户端发送的写数据请求，其中，写数据请求中携带有待写地址，待写地址用于表征待写数据应写入的第一目标存储块及在第一目标存储块中的第一目标存储单元；若第一目标存储块与最近一次写数据请求写入的存储块相同，且第一目标存储单元和最近一次写数据请求写入的第二目标存储单元位置相邻，则将第一目标存储单元合并入第二目标存储单元对应的第一目标存储段；将第一目标存储单元的版本号递增；若递增后的第一目标存储单元的版本号大于第一目标存储段的版本号，则用递增后的第一目标存储单元的版本号更新第一目标存储段的版本号并将更新后的第一目标存储段的版本号发送至元数据节点进行存储。

第二方面，本发明提供一种数据处理方法，应用于分布式存储系统中的元数据节点，元数据节点与存储节点通信连接，所述方法还包括：当检测到对应同一组纠删码编码数据的多个存储节点中的第二目标存储段的版本号不一致时，将其中版本号最小的存储节点确定为待恢复节点，其中，第二目标存储段包括多个位置相邻的存储单元，元数据节点存储第二目标存储段的版本号；向待恢复节点发送恢复信息，以使待恢复节点依据恢复信息从除待恢复节点之外的存储节点中读取第二目标存储段中的数据、并根据读取的数据将待恢复节点中的数据恢复，其中，恢复信息包括多个存储节点中除待恢复节点之外的存储节点的信息、第二目标存储段的版本号、第二目标存储段的起始位置、及第二目标存储段的长度。