[发明专利]分布式大数据的SSD磁盘和HDD磁盘混合存储方法在审

专利信息
申请号: 201410448162.1 申请日: 2014-09-04
公开(公告)号: CN104216988A 公开(公告)日: 2014-12-17
发明(设计)人: 冯志杰;冯志勇;王鑫;饶国政 申请(专利权)人: 天津大学
主分类号: G06F17/30 分类号: G06F17/30
代理公司: 天津市北洋有限责任专利代理事务所 12201 代理人: 李素兰
地址: 300072*** 国省代码: 天津;12
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 分布式 数据 ssd 磁盘 hdd 混合 存储 方法
【说明书】:

技术领域

发明涉及数据存储技术领域,具体来说,涉及语义大数据的混合分布式快速存储。

背景技术

随着现代Web技术的普及与发展,信息的快速增长使得人类进入了大数据时代,这对传统的数据管理方式提出了巨大挑战,以此同时,大数据技术逐渐兴起。大数据技术由各种技术共同构成,例如并行计算、分布式文件系统、分布式数据库、可扩展存储系统等等。其中,关键技术之一是如何有效并且高效的存储管理大数据。为了解决上述问题,数据在存储管理上,有以下几种选择,例如根据数据重要性进行分类,对数据处理过程进行合理安排,或者利用分布式存储技术来提高数据的读写速率等。

当前计算机硬件发展迅速,然后HDD却是个例外。经过研究发现,HDD磁盘的物理结构限制了I/O速率。由于磁盘的传输速度并没有改变,根据木桶效应,这永远是整个计算机性能提升的一个瓶颈。机械硬盘的基本工作方式如下,当数据需要读写时,HDD将会得到指令,之后一系列动作发生,例如磁盘转动,磁头移动等。由于机械运动,这将消耗几毫秒时间。避免磁盘结构的机械设计,采用新结构是提高磁盘读写性能的基本方式。如今,SSD作为一种利用集成电路组件作为内存的数据持久化存储设备。相比于HDD来说,SSD具有显著的读写性能优势。SSD是由固态电子存储芯片阵列构成,它在接口规范和定义、功能以及使用方式上与HDD完全一样。然后相比于HDD来说,SSD拥有更多的优势,例如I/O速度更快、防震、低功耗、低噪音、轻量级等等。同时,SSD也有许多不足之处,SSD的容量有限,使用寿命短,价格高。

传统的高性能数据库系统主要基于HDD,不能够高效的处理大数据,其性能瓶颈主要集中在I/O速率。针对以上问题,考虑到HDD和SSD各自特性,综合利用两种设备来构建混合存储将有效提高大数据存储管理性能,这是一种大数据存储技术上新的方案。这对分布式大数据存储管理性能具有重要影响,也有助于语义网相关大数据应用的推进。

发明内容

为了克服上述现有技术,本发明提出了一种分布式大数据的SSD磁盘和HDD磁盘混合存储方法,综合利用HDD磁盘和SSD磁盘,通过JS-model模型来实现基于SSD/HDD的混合存储方案,在分布式环境下解决大数据存储管理问题,最终达到大数据管理的有效性,高效性,为大数据的存储以及公开发布做准备。

本发明的技术方案如下:

本发明提出了一种分布式大数据的SSD磁盘和HDD磁盘混合存储方法,具有中心频率和带宽值可调的滤波电路,该方法包括以下步骤:

步骤1、针对集群系统中各节点的分布式大数据,构建JS-model存储模型,该存储模型包括一个Journal文件和多个segment文件;其中,Journal文件用于数据缓冲,对数据进行快速读写操作;segment文件用于数据持久化稳定存储,支持数据追加读和数据随机访问;

步骤2、基于JS-model存储模型构建SSD磁盘和HDD磁盘混合分布式存储模型HDStore;

步骤3、利用HDStore管理journal文件和segment文件,优化数据读写;即:把数据读写频繁的journal文件放置在较小容量的SSD上,把数据随机访问的segment文件放置在较大容量的HDD上;

步骤4、下载并生成Lubm数据集,对该数据集进行预处理,为数据装载入Bigdata系统,测试装载时间和查询时间。

所述Journal文件为数据项i的有限集合,作为集群中每一个节点上的数据项i,由原始数据记录r和时间戳t共同构成。

所述segment文件由Journal文件构建,构建流程具体包括以下步骤:

在初始状态下,集群中的每个节点仅有一个journal文件;随着journal文件中数据项的增加,journal文件容量达到上限,这样通过从journal文件中转移数据到segment文件中,构建出一个新的segment文件。

所述HDStore数据存储模型的体系结构,从下层向上层包括:用于机器与机器之间通讯的集群管理层、为单个节点的存储介质基于小容量的SSD磁盘和大容量的HDD磁盘、用来管理磁盘设备的Linux操作系统;通过不同的服务对数据进行存储管理的Bigdata数据库;用于支持多种大数据语义的应用层。

所述SSD磁盘和HDD磁盘混合分布式存储模型HDStore在分布式环境下,还包括以下三种配置:

HDStore中journal文件和segment文件同时放置在HDD磁盘中;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于天津大学,未经天津大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201410448162.1/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top