[发明专利]数据处理方法及装置

说明书

技术领域

本发明涉及通信领域，具体而言，涉及一种数据处理方法及装置。

背景技术

全球数据量的猛增带动着整个存储市场的快速发展，使得云存储得到大规模应用。云存储作为一个以数据存储和管理为核心的云计算系统，通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备，通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能，可提供高性价比、可弹性扩展的海量数据存储服务。

重复数据删除（可以简称为重删或删重，Data De-duPlication，简称为DD）是一种数据缩减技术，旨在减少存储系统中使用的存储容量。它通过减少存储系统中重复的数据，从而减少冗余数据。

重复数据删除系统基于内容寻址，能够消除重复的数据，提高空间利用率。重删包含以文件为单位或以数据块为单位进行操作。以数据块为单位的重复数据删除系统将文件按给定的数据划分策略分割成若干个小的数据分块，并基于数据分块的某种特征进行相同检测，只存储不重复的数据分块，从而达到删除冗余数据，节省存储空间的目的。以文件为单位的重复数据删除系统基于文件的某种特征进行相同检测，只存储不重复的数据文件，从而达到删除冗余数据，节省存储空间的目的。实际应用中还常常结合数据压缩技术进一步缩减数据分块所占的存储空间。

目前重复数据删除技术的研究主要集中在挖掘冗余信息和提高效率上，对存储节点的管理和空间分配只采用简单的分配管理策略。相关技术中的数据重删方法只保留一个副本，不存在重删调整控制。对于存储空间分配时存储节点的负载和能耗状态等没有足够的考虑，不能自适应存储节点所处的各种状态，也不利于整个系统的负载均衡和性能提高。

针对相关技术中不能动态调整数据处理对系统资源及业务影响的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中不能动态调整数据处理对系统资源及业务影响的问题，本发明提供了一种数据处理方法及装置，以至少解决上述问题。

根据本发明的一个方面，提供了一种数据处理方法，该方法包括：监测是否符合数据处理的调整条件；在监测到符合上述调整条件的情况下，根据调整后的数据处理策略，执行数据处理操作。

上述方法还包括：调整数据处理策略。

调整上述数据处理策略包括：接收用户的上述数据处理策略的调整请求，根据上述调整请求调整上述数据处理策略；或者，根据系统操作调整上述数据处理策略。

监测是否符合数据处理的上述调整条件包括：监测是否符合数据删除条件；或者，监测是否符合数据写入条件。

监测是否符合上述数据写入条件包括：判断重删度是否大于当前数据副本的个数，如果是，则符合上述数据写入条件；和/或，判断上述当前数据副本的每秒输入输出IOPS值是否大于预设数值；如果是，则符合上述数据写入条件。

根据调整后的上述数据处理策略，执行数据处理操作包括：在监测到符合上述数据删除条件的情况下，执行数据删除操作；或者，在监测到符合上述数据写入条件的情况下，执行数据写入操作。

在监测到符合上述数据写入条件的情况下，执行数据写入操作包括：获取预写入数据的标识，比对上述预写入数据的标识与已有数据的标识是否相同；如果相同，则复制上述已有数据；如果不相同，则接收用户输入的上述预写入数据。

根据本发明的另一方面，提供了一种数据处理装置，该装置包括：条件监测模块，用于监测是否符合数据处理的调整条件；数据处理模块，在上述条件监测模块监测到符合上述调整条件的情况下，根据调整后的数据处理策略，执行数据处理操作。

上述装置还包括：策略调整模块，用于调整数据处理策略。

上述策略调整模块包括：第一调整单元，用于接收用户的上述数据处理策略的调整请求，根据上述调整请求调整上述数据处理策略；或者，第二调整单元，用于根据系统操作调整上述数据处理策略。

上述条件监测模块包括：第一监测单元，用于监测是否符合数据删除条件；或者，第二监测单元，用于监测是否符合数据写入条件。

上述第二监测单元包括：第一判断子单元，用于判断重删度是否大于当前数据副本的个数，如果是，则符合上述数据写入条件；和/或，第二判断子单元，用于判断上述当前数据副本的每秒输入输出IOPS值是否大于预设数值；如果是，则符合上述数据写入条件。

上述数据处理模块包括：数据删除单元，用于在监测到符合上述数据删除条件的情况下，执行数据删除操作；或者，数据写入单元，用于在监测到符合上述数据写入条件的情况下，执行数据写入操作。