[发明专利]一种纠删码文件数据写时落盘方法、装置、设备和介质

说明书

本发明公开了一种纠删码文件数据写时落盘方法、装置、设备和介质，由于该方法在若纠删码文件的任一段落被写入完毕，根据该段落被写入的目标数据长度、以及每个条存放的第一数据长度，确定已写满的条的目标数量、以及未被写满的目标条中的剩余数据长度；根据剩余数据长度、以及预设长度，确定待写入的补充数据的目标长度，并根据目标条及目标长度，写入目标长度的补充数据；确定目标数量的已写满的条和目标条分别对应的每个校验单元，并对目标数量的已写满的条、目标条以及每个校验单元进行数据落盘。从而使未写满的目标条用补充数据写满，在纠删码文件的写入过程中生成对应的每个校验单元，实现了在写入纠删码文件的过程中的数据落盘。

技术领域

本发明涉及计算机技术领域，尤其涉及一种纠删码文件数据写时落盘方法、装置、设备和介质。

背景技术

在写文件数据时，电子设备提供的数据落盘能力是至关重要的，执行了落盘操作的文件数据，能够保证文件数据已经安全写到磁盘上，即使系统重启或应用程序出现异常时，已经落盘的文件数据仍然能够被读到，这对于提供持久化能力的文件系统属于必须满足的条件。通常文件系统上层应用会在文件数据保证落盘后，才继续执行下一步骤，来避免数据丢失造成的异常。

对于分布式文件系统(Hadoop Distributed File System，HDFS)来说，文件数据落盘指的就是发送到数据节点(DataNode)的文件数据，保证已经写入到DataNode的磁盘上。

HDFS支持普通副本方式和纠删码方式两种文件冗余方式。使用纠删码冗余方式比普通副本冗余方式节省更多空间，且同样能够容忍部分数据的丢失。在HDFS中使用纠删码方式写入文件数据时使用了条形布局，条(stripe)是由若干个相同大小的数据单元(cell)构成的序列。在条形布局下，数据被依次写入条的各个数据单元中，当条被写满之后就写入下一个条，一个条的不同数据单元位于不同的数据块中。

图1为现有技术提供的一种条形布局的示意图，如图1所示，图1中的每一行代表一个条，条1中的每个数据单元分别位于第一行的数据块1、数据块2、……、数据块6中，条1对应的校验块包括第一行的校验块1、校验块2和校验块3。

由于条型布局的纠删码的结构特点，需要写满一个条中的数据单元，才能通过计算生成该条的校验单元。不满足冗余条件时，在数据有部分丢失后无法通过校验单元恢复。其中冗余条件是指在保证最少单元数的情况下能够通过校验单元对数据进行恢复。

而对于普通副本文件由于其pipeline的写入模式，可以保证写同时满足冗余条件。因此，HDFS提供了副本文件的写时落盘方法，而未提供纠删码文件的写时落盘方法。

所以，对于HDFS纠删码文件，不支持在写过程中确认数据落盘，不能满足上层应用在文件写过程需要保证已写数据落盘的操作场景。这对于作为文件系统的HDFS来说，只提供了副本文件写时落盘是其数据落盘能力的一部分缺失。

由于文件数据落盘需要文件数据满足冗余条件，而现有技术中无法保证在写入HDFS纠删码文件数据时满足冗余条件，因此现有技术中HDFS不能满足纠删码文件的写时数据落盘，即不能满足在写入纠删码文件的过程中保证数据落盘。

发明内容

本发明提供了一种纠删码文件数据写时落盘方法、装置、设备和介质，用以解决现有技术中不能满足在写入纠删码文件的过程中保证数据落盘的问题。

本发明提供了一种纠删码文件数据写时落盘方法，所述方法包括：

若纠删码文件的任一段落被写入完毕，根据该段落被写入的目标数据长度、以及每个条存放的第一数据长度，确定已写满的条的目标数量、以及未被写满的目标条中的剩余数据长度；

根据所述剩余数据长度、以及预设长度，确定待写入的补充数据的目标长度，并根据所述目标条及所述目标长度，写入所述目标长度的补充数据；