[发明专利]一种大数据归档存储系统

说明书

技术领域

本发明涉及数据存储领域，特别是一种大数据归档存储系统。 

背景技术

大数据环境下云计算技术已趋于成熟，大型的IT企业正在推进云存储的部署，各种智能云存储系统应运而生，CSS(Cloud Storage System)云存储系统也面向可运营的云备份系统，备份与归档正朝着融合的方向迈进。传统的归档技术面临新的挑战，云计算环境下的数据库与池化的软硬资源需要归档系统为其扩展新的接口，不再是简单的数据摄取与接入。海量长期的数据归档需要考虑数据检索的效率，分级存储管理是较理想的归档模式。磁带的使用方式通常是用来对基本上很少使用的数据进行归档的介质(write-once,read-never or maybe，一旦写入，从不使用或者很少使用)，磁盘则可以用来归档预期可能检索的数据，在扩展云计算环境的归档系统中下层需要部署用来进行分级的归档模块，需要具有数据检索的预测功能，同时对归档数据进行历史检索的分析，及时的采取分级存储，这类似于计算机存储系统，从底层的硬盘到CPU的高性能cache(缓存)，容量在降低，存取速度却在升级。分级的管理同时涉及介质迁移，迁移需要同时考虑归档数据与介质的特性，保证数据迁移与介质迁移的数据持有性，介质稳定性。 

应对信息化的公共管理与企事业电子化运作，高能效的归档系统势必成为支撑数据立体式增长的重要保障。在基于信息生命周期管理的思想上，归档一直是不被重视的一个环节，主要是基于磁带技术的归档模式正在被云时代、大数据冲击。过去，研究者们会把目光集中在数据存储上，这主要来自于传感器等资源的数据采集能力给存储系统带来的压力，经过长期的研究与实践，分布式的存储系统、云存储逐渐实现了大数据的有效存储，研究的热点将转移到新的计算环境下的归档系统。 

全息存储介质、有机金属复合薄膜、突破性的DNA(Deoxyribonucleic acid脱氧核糖核酸，染色体的主要化学成分)与石英玻璃板有望突破磁带与光盘为主的长期归档介质，在工业标准的存储接口未出现前，归档仍主要依靠以硬盘为第一级存储介质的归档系统。国内外有很多归档系统的研究与设计，You等人提出了一个深度的归档存储系统，采用一个虚拟的content-addressable(内容寻址)存储框架与多方式的inter-file(中间文件)和intra-file(内部文件)压缩机制，有效地解决了数据依赖变化下数据压缩，测量内容和元数据存储的效率，展示需要变化级别的复制模型并提供了存储性能的初步结果，在其框架中，采用MD5(Message Digest Algorithm MD5消息摘要算法第五版)或SHA-1(Secure Hash Algorithm-1一种安全散列算法)为每个文件计算出虚拟目录地址的主要部分，在大数据环境下，为每个 文件计算一个哈希值会为系统增加负荷。 

传感技术使得流数据无处不在，产生源源不断的流数据，这考验着当下企业存储与归档的能力，Abe等人提出了操作合并的机制来归档流数据，大多数操作时访问或者修改操作，对访问者来说可能存在高度的延时，访问者不能访问到逻辑上已经写入的数据，需要控制合并操作的时间域。Wildani等人采用语义部署归档数据，根据访问的历史记录的语义，用索引器建立基于语义的访问目录，在重复访问与语义逻辑相悖时索引器面临巨大挑战。 

目前现有技术中还没有将云存储的存储现状作为大数据归档的重难点，归档系统的设计缺乏与云数据库的无缝接合，数据的迁移往往直接从数据源摄取到了归档介质中，给后期的数据访问增加了压力,爆发式的访问会给系统带来超大负荷，应对这访问集中与多发的机制还是停留在依靠缓存的解决方法,而在归档磁盘的检错问题上,Klein虽然从RAID(Redundant Arrays of Independent Disks磁盘阵列，RAID)的系统的角度提出了改进归档的方案，在检错顺序上提出采用最远距离单元块优先检错的机制，笼统的认为最远单元块的错误概率较大，缺乏理论依据，优化条带上没有具体的方法。 

发明内容

为解决上述技术问题,本发明所采用的技术方案如下: