[发明专利]分布式大数据的SSD磁盘和HDD磁盘混合存储方法

摘要

本发明公开了一种分布式大数据的SSD磁盘和HDD磁盘混合存储方法，包括以下步骤：步骤(1)针对集群系统中各节点的分布式大数据，构建JS-model存储模型，该存储模型包括一个Journal文件和多个segment文件；其中，Journal文件用于数据缓冲，对数据进行快速读写操作；segment文件用于数据持久化稳定存储，支持数据追加读和数据随机访问；步骤(2)基于JS-model存储模型构建SSD磁盘和HDD磁盘混合分布式存储模型HDStore；步骤(3)利用HDStore管理journal文件和segment文件，优化数据读写；步骤(4)下载并生成Lubm数据集，对该数据集进行预处理，为数据装载入Bigdata系统，测试装载时间和查询时间。本发明有效并且高效的管理语义大数据的混合分布式存储方案，从而促进了大规模数据存储管理的进步与发展。

主权项

一种分布式大数据的SSD磁盘和HDD磁盘混合存储方法，其特征在于，该方法包括以下步骤：步骤(1)、针对集群系统中各节点的分布式大数据，构建JS‑model存储模型，该存储模型包括一个Journal文件和多个segment文件；其中，Journal文件用于数据缓冲，对数据进行快速读写操作；segment文件用于数据持久化稳定存储，支持数据追加读和数据随机访问；步骤(2)、基于JS‑model存储模型构建SSD磁盘和HDD磁盘混合分布式存储模型HDStore；步骤(3)、利用HDStore管理journal文件和segment文件，优化数据读写；即：把数据读写频繁的journal文件放置在较小容量的SSD上，把数据随机访问的segment文件放置在较大容量的HDD上；步骤(4)、下载并生成Lubm数据集，对该数据集进行预处理，为数据装载入Bigdata系统，测试装载时间和查询时间。