[发明专利]一种基于SSD和HDD混合存储系统的RDD持久化方法

说明书

本发明提供一种基于SSD和HDD混合存储系统的RDD持久化方法，包括：RDD模块将RDD模块中的块标识和RDD模块中数据的预设持久化级别传递给块管理器；所述磁盘块管理器将所述预设持久化级别传递给设备适配器；所述设备适配器接收数据的预设持久化级别和读取配置文件中两个目录管理变量，根据数据的预设持久化级别进行预设持久化级别和对应目录管理变量中临时文件目录匹配，并将匹配得到的临时文件目录返回给所述磁盘块管理器；所述磁盘块管理器根据所述块标识得到文件名，并根据匹配得到的临时文件目录和所述文件名得到数据存储地址，并将所述数据存储地址返回至所述块管理器；所述块管理器根据所述数据存储地址对RDD模块中的数据在SSD或HDD中进行存储。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于SSD和HDD混合存储系统的RDD持久化方法。

背景技术

在现有的大数据时代，面对海量数据，如何在有效的时间内管理、分析并提取有价值的信息，成为人们亟需解决的问题。然而，无论是规模、种类还是结构，大数据对人们驾驭数据的能力提出了巨大挑战。

Spark是目前高效且在产业界被广泛使用的大数据计算框架，是通用、快速的大规模数据处理引擎。首先，Spark提供了统一的解决方案，可以用于交互式查询、实时流处理、机器学习等复杂任务；其次，Spark通过弹性分布式数据集(Resilient DistributedDataset，简称RDD)划分阶段和任务，通过高效的有向无环图(Directed Acyclic Graph,简称DAG)执行引擎优化子任务执行顺序，并通过基于内存的计算大幅提升数据处理效率；第三，Spark数据管理依赖于HDFS、Hive等多种数据源，并且集群模式下的Spark实现了横向扩展，支持大规模数据的处理。RDD是Spark区别于其他大数据计算框架最重要的概念，它是一种具有高度容错机制的、只读的分布式数据集。Spark应用程序中，每一个RDD会被分成多个分区，且Spark以分区为单位对RDD进行各种操作。持久化(Persist)RDD分区数据到内存或硬盘实现了对计算任务中间结果的缓存，以供后续迭代任务直接读取中间结果，避免了重复计算，大幅提升了数据处理效率。另外，持久化数据到硬盘，打破了内存容量不足对数据集规模的限制，使得Spark处理大数据游刃有余。

但是目前初始RDD数据集按照随机比例进行分割，Spark所提供的持久化框架根据依据此比例将数据持久化到不同的存储介质中，无法实现按需持久化。

发明内容

本发明旨在解决现有技术中的无法实现按需持久化技术问题，提供一种能无法实现按需持久化的基于SSD和HDD混合存储系统的RDD持久化方法。

本发明的实施例提供一种基于SSD和HDD混合存储系统的RDD持久化方法，所述方法包括以下步骤：

RDD模块将RDD模块中的块标识和RDD模块中数据的预设持久化级别传递给块管理器；

所述块管理器将所述块标识和预设持久化级别传递给磁盘块管理器；

所述磁盘块管理器将所述预设持久化级别传递给设备适配器；

所述设备适配器接收数据的预设持久化级别和读取配置文件中两个目录管理变量，根据数据的预设持久化级别进行预设持久化级别和对应目录管理变量中临时文件目录匹配，并将匹配得到的临时文件目录返回给所述磁盘块管理器；

所述磁盘块管理器根据所述块标识得到文件名，并根据匹配得到的临时文件目录和所述文件名得到数据存储地址，并将所述数据存储地址返回至所述块管理器；

所述块管理器根据所述数据存储地址对RDD模块中的数据在SSD或HDD中进行存储。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。