[发明专利]数据处理方法、装置及设备

说明书

本申请实施例提供一种数据处理方法、装置及设备，该方法包括：获取内存中缓存数据的数据量大小；根据所述数据量大小，确定用于对所述缓存数据进行转储操作的转储方式，转储方式包括以下任意之一：在线纠删码技术相对应的第一转储方式、与非在线纠删码技术相对应的第二转储方式；基于所述转储方式对所述缓存数据进行转储操作。本申请所提供的技术方案，有效地实现了在不同的应用场景中，可以选择不同的转储方式对缓存数据进行转储操作，从而有效地解决了现有技术中在采用多副本策略或者纠删码技术做数据处理操作时，存在写流量放大、存储空间放大或者多消耗一份读流量的问题，并且，该方法并不限制用户写入数据的大小。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理方法、装置及设备。

背景技术

分布式存储系统为了保证数据的安全性，通常可以采用多副本策略或者纠删码(Erasure Code，简称EC)技术做数据冗余。其中，在采用多副本策略进行数据处理时，存在写流量放大和存储空间放大的问题；在采用纠删码技术进行数据处理时，能够明显减少写流量放大和存储空间放大的问题，然而，由于纠删码技术通常用于后台离线转储，进而在进行转储操作时，会多消耗一份读流量。

发明内容

本申请实施例提供一种数据处理方法、装置及设备，用以解决现有技术中在采用多副本策略或者纠删码技术做数据冗余操作时，存在写流量放大、存储空间放大或者多消耗一份读流量的问题。

第一方面，本申请实施例提供了一种数据处理方法，包括：

获取内存中缓存数据的数据量大小；

根据所述数据量大小，确定用于对所述缓存数据进行转储操作的转储方式，所述转储方式包括以下任意之一：在线纠删码技术相对应的第一转储方式、与非在线纠删码技术相对应的第二转储方式；

基于所述转储方式对所述缓存数据进行转储操作。

第二方面，本申请实施例提供了一种数据处理装置，包括：

获取模块，用于获取内存中缓存数据的数据量大小；

确定模块，用于根据所述数据量大小，确定用于对所述缓存数据进行转储操作的转储方式，所述转储方式包括以下任意之一：在线纠删码技术相对应的第一转储方式、与非在线纠删码技术相对应的第二转储方式；

处理模块，用于基于所述转储方式对所述缓存数据进行转储操作。

第三方面，本申请实施例提供了一种电子设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面所示的数据处理方法。

第四方面，本发明实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第一方面所示的数据处理方法。

本申请实施例提供的技术方案，有效地实现在不同的应用场景中，可以选择不同的转储方式对缓存数据进行转储操作，从而有效地解决了现有技术中在采用多副本策略或者纠删码技术做数据处理操作时，存在写流量放大、存储空间放大或者多消耗一份读流量的问题，并且，该方法并不限制用户写入数据的大小，从而提高了该方法的适用范围和使用的灵活可靠性，使得该方法可以适应于多种应用场景，进一步提高了该方法的实用性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据处理方法的场景示意图；

图2为本申请实施例提供的一种数据处理方法的流程示意图；