[发明专利]一种数据处理方法以及相关设备

说明书

本申请实施例提供了一种数据处理方法及相关设备，可以综合利用固态设备、瓦记录磁盘以及日志结构合并树的优点，对存储的数据进行优化处理。该方法包括：获取目标数据；确定所述目标数据对应的目标有序键值对表；根据所述目标有序键值对表确定第二有序键值对表；根据所述目标有序键值对表确定第一有序键值对表；将所述第二有序键值对表合并至所述第一有序键值对表中；当合并后的所述第一有序键值对表满足预设条件时，将合并后的所述第一有序键值对表与第三有序键值对表作为数组集合写入所述瓦记录磁盘中的大小动态变化的目标动态区。

技术领域

本申请涉及存储领域，尤其涉及一种数据处理方法以及相关设备。

背景技术

随着信息时代的高速发展，各个领域的数据都呈现爆发式的增长。根据IDC的研究报告指出，从2010年到2020年，全球的数据量将增加50倍，而未来全球数据总量年增长率将维持50％左右。其中，我国数据量将达到8.6ZB，占21％左右。除此，时延敏感的交互型互联网应用(如微博、推特、脸书)逐步增多，这类应用在要求高响应速度的同时，还鼓励用户发布和共享文件及图片。因此存储系统在容量和性能上都受到了前所未有的挑战。

硬件方面，目前积极探索的多种提升容量技术中，瓦记录磁盘(SMR)通过部分磁道重叠的方式提升磁盘面密度，是成本最低、对现有磁盘工艺改变最小的磁记录技术，因而瓦记录磁盘最先得到量产与应用；目前积极探索的各种提升性能技术中，基于闪存的固态硬盘(SSD)是最成熟、应用最广泛的高性能新型存储器件，固态盘有先擦后写和擦写次数有限等读写特征，但却在并行性、可靠性、能耗、性能、尺寸方面有明显优势。软件方面，大数据背景下，传统的文件系统或块存储已无法满足大多数应用对存储性能的需求，而基于日志结构合并树的键值存储因其优良的服务质量而成为当前数据中心大规模应用的主要存储方式。

虽然固态硬盘、瓦记录磁盘和日志结构合并树结构都有着如此明显地优点，但同时它们也都有自己地缺陷，例如：固态盘地擦写次数有限，先擦后写；瓦记录磁盘地写放大问题；以及日志结构合并树极大的合并开销。

发明内容

本申请实施例提供了一种数据处理方法以及相关设备，可以综合利用固态硬盘、瓦记录磁盘和日志结构合并树的优点，优化磁盘数据的存储。

本申请实施例的第一方面提供了一种数据处理方法，应用至混合式键值存储系统，所述混合式键值存储系统包括固态设备、瓦记录磁盘以及日志结构合并树，包括：

获取目标数据，所述目标数据为待存储至所述混合式键值存储系统的数据；

确定所述目标数据对应的目标有序键值对表，所述目标有序键值对表为所述日志结构合并树的1层至n层中的有序键值对表，所述日志结构合并树的1至n层部署在所述固态设备，n为大于1的正整数；

根据所述目标有序键值对表确定第二有序键值对表，所述第二有序键值对表为所述日志结构合并树的1层至n层中与所述第一有序键值对表合并的键值对表；

根据所述目标有序键值对表确定第一有序键值对表，所述第一有序键值对表的键值范围与所述目标键值对表中的键值范围至少重叠一个；

将所述第二有序键值对表合并至所述第一有序键值对表中，其中合并后的所述第一有序键值对表的元数据在所述第二有序键值对表内；

当合并后的所述第一有序键值对表满足预设条件时，将合并后的所述第一有序键值对表与第三有序键值对表作为数组集合写入所述瓦记录磁盘中的大小动态变化的目标动态区，所述第三有序键值对表为所述日志结构合并树的n+1层至m层中与所述第二有序键值对表对应的键值对表，所述目标动态区与所述数组集合相对应，所述目标动态区为所述瓦记录磁盘中两个空白磁道段中间的区域，所述日志结构合并树的n+1层至m层部署在所述瓦记录磁盘，m为大于n的正整数。

可选地，所述根据所述目标有序键值对表确定第二有序键值对表包括：