[发明专利]数据处理方法、装置及设备

权利要求书

1.一种数据处理方法，包括：

获取内存中缓存数据的数据量大小；

根据所述数据量大小，确定用于对所述缓存数据进行转储操作的转储方式，所述转储方式包括以下任意之一：在线纠删码技术相对应的第一转储方式、与非在线纠删码技术相对应的第二转储方式；

基于所述转储方式对所述缓存数据进行转储操作。

2.根据权利要求1所述的方法，根据所述数据量大小，确定用于对所述缓存数据进行转储操作的转储方式，包括：

在所述数据量大小大于预设阈值时，则确定所述转储方式为与在线纠删码技术相对应的第一转储方式；

在所述数据量大小小于或等于预设阈值时，则确定所述转储方式为与非在线纠删码技术相对应的第二转储方式。

3.根据权利要求2所述的方法，与非在线纠删码技术相对应的第二转储方式包括以下至少之一：

与在线多副本技术相对应的第一子转储方式；

用于标识将所述缓存数据保持存储在内存中的空转储方式；

与离线纠删码技术相对应的第二子转储方式。

4.根据权利要求3所述的方法，确定所述转储方式为与非在线纠删码技术相对应的第二转储方式，包括：

获取与上一次转储操作之间的时间间隔；

在所述时间间隔大于或等于预设时间阈值时，则确定所述第二转储方式为所述第一子转储方式、空转储方式和第二子转储方式中的任意之一；

在所述时间间隔小于预设时间阈值时，则确定所述第二转储方式为所述空转储方式。

5.根据权利要求4所述的方法，在确定所述第二转储方式为所述第一子转储方式之后；基于所述转储方式对所述缓存数据进行转储操作，包括：

基于所述第一子转储方式对所述缓存数据进行转储操作，获得与所述缓存数据相对应的多副本文件；

利用离线纠删码技术对所述多副本文件中的数据进行转储操作，获得与所述多副本文件相对应的离线纠删码文件。

6.根据权利要求3所述的方法，在确定所述第二转储方式为所述第二子转储方式之后；基于所述转储方式对所述缓存数据进行转储操作，包括：

基于所述第二子转储方式对所述缓存数据进行转储操作，获得与所述缓存数据相对应的第一纠删码文件；

确定与所述第一纠删码文件所对应的有效数据；

利用离线纠删码技术对所述有效数据进行转储操作，获得第二纠删码文件。

7.根据权利要求2所述的方法，在确定所述转储方式为所述第一转储方式之后；基于所述转储方式对所述缓存数据进行转储操作，包括：

获取与所述第一转储方式相对应的数据转储条件；

检测所述缓存数据是否满足数据转储条件；

在所述缓存数据满足所述数据转储条件时，则对所述缓存数据进行转储操作；

在所述缓存数据不满足所述数据转储条件时，则对所述缓存数据进行调整，并对调整后的缓存数据进行转储操作。

8.根据权利要求7所述的方法，检测所述缓存数据是否满足数据转储条件，包括：

获取所述缓存数据的第一数据长度以及与所述第一转储方式所对应的数据对齐长度；

基于所述数据对齐长度和所述第一数据长度，检测所述缓存数据是否满足数据转储条件。

9.根据权利要求8所述的方法，基于所述数据对齐长度和所述第一数据长度，检测所述缓存数据是否满足数据转储条件，包括：

在所述第一数据长度为所述数据对齐长度的整数倍时，确定所述缓存数据满足所述数据转储条件；或者，

在所述第一数据长度为所述数据对齐长度的非整数倍时，确定所述缓存数据不满足所述数据转储条件。