[发明专利]一种数据写入方法及装置

说明书

本发明提供一种数据写入方法及装置，所述方法包括：当接收到针对目标文件的写入请求时，按照预设区块大小将所述目标文件划分为原始数据块，并根据所述原始数据块利用奇偶校验算法计算至少一个校验数据块；将所述目标文件对应的原始数据块以及校验数据块并发写入对象object组中的连续多个空闲区块；将所述object组中的各object映射至不同的对象存储设备OSD。应用本发明实施例可以解决Ceph EC存在写惩罚的问题，并提高Ceph的数据写入性能。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据写入方法及装置。

背景技术

Ceph(分布式存储系统)是一种性能优异、高可靠性和高扩展性分布式存储系统，广泛应用于各类大中小型存储环境。

目前，Ceph主要采用多副本策略以保证数据的可靠性，但是多副本策略降低了Ceph的磁盘利用率，例如，2副本磁盘利用率50％，3副本磁盘利用率33％。

为了提高磁盘利用率，Ceph提出了纠删码(Erasure Coding，EC)策略。

纠删码算法将写入数据分成K份原始数据，通过这K份原始数据计算出M份校验数据，通过这K+M份中的任意K份数据可以还原出所有原始数据。

然而实践发现，现有Ceph EC方案中当条带中部分原始数据发生修改时，需要先将条带中未发生修改的原始数据读出，重新计算校验数据，并将发生修改的数据和新计算的校验块写入条带中的相应位置，即存在写惩罚。

发明内容

本发明提供一种数据写入方法及装置，以解决现有Ceph EC方案不支持覆盖写，且存在写惩罚的问题。

根据本发明的第一方面，提供一种数据写入方法，应用于分布式对象存储系统中的存储节点，所述方法包括：

当接收到针对目标文件的写入请求时，按照预设区块大小将所述目标文件划分为原始数据块，并根据所述原始数据块利用奇偶校验算法计算至少一个校验数据块；

将所述目标文件对应的原始数据块以及校验数据块并发写入对象object组中的连续多个空闲区块；其中，所述object组中包括至少三个object，所述object组中各object包括等量等大小的区块，所述连续多个空闲区块依次归属于所述object组中的各object；

将所述object组中的各object映射至不同的对象存储设备OSD。

根据本发明的第二方面，提供一种数据写入装置，应用于分布式对象存储系统中的存储节点，所述装置包括：

接收单元，用于接收写入请求；

划分单元，用于当所述接收单元接收到针对目标文件的写入请求时，按照预设区块大小将所述目标文件划分为原始数据块；

校验单元，用于根据所述原始数据块利用奇偶校验算法计算至少一个校验数据块；

写入单元，用于将所述目标文件对应的原始数据块以及校验数据块并发写入对象object组中的连续多个空闲区块；其中，所述object组中包括至少三个object，所述object组中各object包括等量等大小的区块，所述连续多个空闲区块依次归属于所述object组中的各object；

映射单元，用于将所述object组中的各object映射至不同的对象存储设备OSD。

应用本发明公开的技术方案，当接收到针对目标文件的写入请求时，按照预设区块大小将目标文件划分为原始数据块，并利用奇偶校验算法计算至少一个校验数据块；进而，可以将目标文件对应的原始数据块以及校验数据块并发写入object组中的连续多个空闲区块，并将object组中的各object映射至不同的OSD，解决了Ceph EC存在写惩罚的问题，并提高了Ceph的数据写入性能。