[发明专利]一种实现高效安全存储的系统和方法

说明书

技术领域

本发明涉及数据安全存储技术领域，特别是指一种实现高效安全存储的系统和方法。

背景技术

在数据存储领域，访问效率、存储效率、可靠性、安全性、平台兼容性、可拓展性以及易管理性是存储系统设计的几个主要方向，其直接关系到用户的直接成本、维护成本、升级成本以及设备的保值性等。

数据存储的安全性、有效性是大型企业、互联网服务提供商所头疼的事情，特别是在今天在线备份、在线存储、网络硬盘、云计算以及云存储等服务提供商风起云涌之际。

过去30多年来，存储方式经历了以下几个典型的时期：直连式存储(DAS)时期，独立冗余磁盘阵列(RAID)+DAS时期，网络附属存储(NAS)和存储区域网络(SAN)、集群文件系统。如今，在存储领域有两个热门，分别是集群文件系统和基于异或算法为基础的编码存储系统。集群文件系统逐步成为应用的主流技术之一，多家国外著名公司已独立开发出不同的集群文件系统，国内最近几年也先后出现了蓝鲸集群文件系统和龙存集群文件系统。

作为流行的、也最有潜力的集群文件系统在很大程度上解决了原有存储系统的局限性，其主要特征表现为：系统具有更大的伸缩性，容量可以动态扩展；较高的数据处理能力(IOPS)；统一存储；可管理性；高可用性，避免单节点故障；独立于硬件系统，能够包容大部分遗留的存储设备；与各类应用兼容。

集群文件系统对于传统存储方式来说，是一场变革，也是各大企业关注的主要技术之一。但对于以存储为特征的运营商和服务商来说，集群文件系统依然会带来成本、安全、易用性的压力，其主要缺点是：集群文件系统都是以多份拷贝为特征的数据冗余机制，存储效率低；集群文件系统会占用更多的带宽，大容量高密度数据应用环境对于带宽的占用比较敏感；集群文件系统一般只适合在局域网内应用，跨广域网应用是个事实难题；网络传输的安全性难以保障，异地文件的安全管理也是成为难题，特别是敏感的数据。

为解决集群文件系统的这些不足，对数据的处理必须借助于其他技术。

在建立冗余编码体系中，需要解决的问题包括：(1)计算必然会带来时间的开销，而时间上的延迟会一定程度上影响系统的处理能力；(2)编码后的数据不能局限于唯一的通道进行访问，比如RAID卡、NAS，均高度依赖数据读写头，访问通道会带来单节点故障；(3)编码后的数据在存储上具有一定的拓扑规律，数据访问要求具有很强的可预期性，才能保证数据能够快速读取；(4)存储体系要求具有很强的扩展性，可以按需进行配置；(5)编码体系必须在存储、计算、部署等方面具有可分离的特点，即以上元素不能耦合在一起；(6)数据的处理顺序与物理存储顺序具有一致性。

目前，在通信与存储领域中，常用的冗余编码算法有：错误检查和纠正(ECC)算法、Parity算法、Reed-Solomon算法、BCH算法、多维二进制编码、EVENODD阵列码、RDP阵列码、Liberation码、B-Code、X-Code、DH1/DH2混合码、HDD1/HDD2混合码、以及其它数学方式的容错编码等。

下面对Parity算法和Reed-Solomon算法的原理进行说明。

Parity算法本质是对对应位置数据进行异或计算，通过存储原始数据和异或结果来达到数据冗余的目的，籍此提高存储的可靠性。表1是异或算法的基本原理。