[发明专利]分布式大数据的SSD磁盘和HDD磁盘混合存储方法在审
申请号: | 201410448162.1 | 申请日: | 2014-09-04 |
公开(公告)号: | CN104216988A | 公开(公告)日: | 2014-12-17 |
发明(设计)人: | 冯志杰;冯志勇;王鑫;饶国政 | 申请(专利权)人: | 天津大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 天津市北洋有限责任专利代理事务所 12201 | 代理人: | 李素兰 |
地址: | 300072*** | 国省代码: | 天津;12 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 数据 ssd 磁盘 hdd 混合 存储 方法 | ||
技术领域
本发明涉及数据存储技术领域,具体来说,涉及语义大数据的混合分布式快速存储。
背景技术
随着现代Web技术的普及与发展,信息的快速增长使得人类进入了大数据时代,这对传统的数据管理方式提出了巨大挑战,以此同时,大数据技术逐渐兴起。大数据技术由各种技术共同构成,例如并行计算、分布式文件系统、分布式数据库、可扩展存储系统等等。其中,关键技术之一是如何有效并且高效的存储管理大数据。为了解决上述问题,数据在存储管理上,有以下几种选择,例如根据数据重要性进行分类,对数据处理过程进行合理安排,或者利用分布式存储技术来提高数据的读写速率等。
当前计算机硬件发展迅速,然后HDD却是个例外。经过研究发现,HDD磁盘的物理结构限制了I/O速率。由于磁盘的传输速度并没有改变,根据木桶效应,这永远是整个计算机性能提升的一个瓶颈。机械硬盘的基本工作方式如下,当数据需要读写时,HDD将会得到指令,之后一系列动作发生,例如磁盘转动,磁头移动等。由于机械运动,这将消耗几毫秒时间。避免磁盘结构的机械设计,采用新结构是提高磁盘读写性能的基本方式。如今,SSD作为一种利用集成电路组件作为内存的数据持久化存储设备。相比于HDD来说,SSD具有显著的读写性能优势。SSD是由固态电子存储芯片阵列构成,它在接口规范和定义、功能以及使用方式上与HDD完全一样。然后相比于HDD来说,SSD拥有更多的优势,例如I/O速度更快、防震、低功耗、低噪音、轻量级等等。同时,SSD也有许多不足之处,SSD的容量有限,使用寿命短,价格高。
传统的高性能数据库系统主要基于HDD,不能够高效的处理大数据,其性能瓶颈主要集中在I/O速率。针对以上问题,考虑到HDD和SSD各自特性,综合利用两种设备来构建混合存储将有效提高大数据存储管理性能,这是一种大数据存储技术上新的方案。这对分布式大数据存储管理性能具有重要影响,也有助于语义网相关大数据应用的推进。
发明内容
为了克服上述现有技术,本发明提出了一种分布式大数据的SSD磁盘和HDD磁盘混合存储方法,综合利用HDD磁盘和SSD磁盘,通过JS-model模型来实现基于SSD/HDD的混合存储方案,在分布式环境下解决大数据存储管理问题,最终达到大数据管理的有效性,高效性,为大数据的存储以及公开发布做准备。
本发明的技术方案如下:
本发明提出了一种分布式大数据的SSD磁盘和HDD磁盘混合存储方法,具有中心频率和带宽值可调的滤波电路,该方法包括以下步骤:
步骤1、针对集群系统中各节点的分布式大数据,构建JS-model存储模型,该存储模型包括一个Journal文件和多个segment文件;其中,Journal文件用于数据缓冲,对数据进行快速读写操作;segment文件用于数据持久化稳定存储,支持数据追加读和数据随机访问;
步骤2、基于JS-model存储模型构建SSD磁盘和HDD磁盘混合分布式存储模型HDStore;
步骤3、利用HDStore管理journal文件和segment文件,优化数据读写;即:把数据读写频繁的journal文件放置在较小容量的SSD上,把数据随机访问的segment文件放置在较大容量的HDD上;
步骤4、下载并生成Lubm数据集,对该数据集进行预处理,为数据装载入Bigdata系统,测试装载时间和查询时间。
所述Journal文件为数据项i的有限集合,作为集群中每一个节点上的数据项i,由原始数据记录r和时间戳t共同构成。
所述segment文件由Journal文件构建,构建流程具体包括以下步骤:
在初始状态下,集群中的每个节点仅有一个journal文件;随着journal文件中数据项的增加,journal文件容量达到上限,这样通过从journal文件中转移数据到segment文件中,构建出一个新的segment文件。
所述HDStore数据存储模型的体系结构,从下层向上层包括:用于机器与机器之间通讯的集群管理层、为单个节点的存储介质基于小容量的SSD磁盘和大容量的HDD磁盘、用来管理磁盘设备的Linux操作系统;通过不同的服务对数据进行存储管理的Bigdata数据库;用于支持多种大数据语义的应用层。
所述SSD磁盘和HDD磁盘混合分布式存储模型HDStore在分布式环境下,还包括以下三种配置:
HDStore中journal文件和segment文件同时放置在HDD磁盘中;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于天津大学,未经天津大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410448162.1/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置