[发明专利]分布式大数据的SSD磁盘和HDD磁盘混合存储方法

权利要求书

1.一种分布式大数据的SSD磁盘和HDD磁盘混合存储方法，其特征在于，该方法包括以下步骤：

步骤(1)、针对集群系统中各节点的分布式大数据，构建JS-model存储模型，该存储模型包括一个Journal文件和多个segment文件；其中，Journal文件用于数据缓冲，对数据进行快速读写操作；segment文件用于数据持久化稳定存储，支持数据追加读和数据随机访问；

步骤(2)、基于JS-model存储模型构建SSD磁盘和HDD磁盘混合分布式存储模型HDStore；

步骤(3)、利用HDStore管理journal文件和segment文件，优化数据读写；即：把数据读写频繁的journal文件放置在较小容量的SSD上，把数据随机访问的segment文件放置在较大容量的HDD上；

步骤(4)、下载并生成Lubm数据集，对该数据集进行预处理，为数据装载入Bigdata系统，测试装载时间和查询时间。

2.如权利要求1所述的分布式大数据的SSD磁盘和HDD磁盘混合存储方法，其特征在于，所述Journal文件为数据项i的有限集合，作为集群中每一个节点上的数据项i，由原始数据记录r和时间戳t共同构成。

3.如权利要求1所述的分布式大数据的SSD磁盘和HDD磁盘混合存储方法，其特征在于，所述segment文件由Journal文件构建，构建流程具体包括以下步骤：

在初始状态下，集群中的每个节点仅有一个journal文件；随着journal文件中数据项的增加，journal文件容量达到上限，这样通过从journal文件中转移数据到segment文件中，构建出一个新的segment文件。

4.如权利要求1所述的分布式大数据的SSD磁盘和HDD磁盘混合存储方法，其特征于，所述HDStore数据存储模型的体系结构，从下层向上层包括：用于机器与机器之间通讯的集群管理层、为单个节点的存储介质基于小容量的SSD磁盘和大容量的HDD磁盘、用来管理磁盘设备的Linux操作系统；通过不同的服务对数据进行存储管理的Bigdata数据库；用于支持多种大数据语义的应用层。

5.如权利要求1所述的分布式大数据的SSD磁盘和HDD磁盘混合存储方法，其特征于，所述SSD磁盘和HDD磁盘混合分布式存储模型HDStore在分布式环境下，还包括以下三种配置：

HDStore中journal文件和segment文件同时放置在HDD磁盘中；

HDStore中journal文件和segment文件同时放置在SSD磁盘中；

HDStore中journal文件放置在SSD磁盘中，segment文件放置在HDD磁盘中。