[发明专利]一种基于混合结构的数字图书馆云存储系统

说明书

技术领域

本发明涉云存储技术，尤其涉及一种基于混合结构的数字图书馆云存储系统(简称CSSDL_HS)，属于数字图书馆文件的分布式存储的技术领域。本系统能够解决数字图书馆场景中文件的分布式存储问题，可以提高文件存储的速度，减少可能带来的人工误操作，使得在网络环境下数字图书馆中各种文件存储具有更好的可靠性和无故障性。

背景技术

Hadoop分布式文件系统(Hadoop Distributed File System，简称HDFS)是一个高度容错的文件系统，支持分布式文件的存取，具有较高的安全性、稳定性。HDFS是一种Master/Slave架构，一台服务器作为NameNode节点，其余服务器是DataNode数据节点。NameNode负责管理文件的命名空间、数据复制和客户端对文件的访问。DataNode在NameNode的管理下负责将文件中的数据保存在本地文件系统上。在基于混合结构的数字图书馆云存储应用方面，HDFS具有如下特点：(1)硬件错误是常态而不是异态。HDFS对需要存储的每一个数据块都保存多份(用户可以通过修改配置文件更改副本数量，本发明中默认为三份)并保存在不同的DataNode上，一旦某一个DataNode结点失效，NameNode就会将该数据块复制到其他活跃的DataNode上，保证任何时候系统中的任一数据块的正常数量比例不低于阈值。(2)流式数据访问。HDFS系统的设计是数据批处理方式，而不是用户交互处理。考虑更多的是提高数据访问的吞吐量。(3)大规模数据集。因为一个HDFS集群里可以扩展到数百个结点，所以HDFS能提供整体较高的数据传输带宽，从而更适于数字图书馆场景下各种大文件的网络存储。(4)简单的一致性模型。HDFS系统中的文件采取一次写入多次读取的策略，方便了数据的访问，也保证了数据的一致性。(5)可移植性，只要机器上安装有Linux系统和Java虚拟机就可以部署HDFS。因此HDFS也继承了Java的高度可移植性。

在当今网络技术快速的发展情况下，信息技术不断发展，以印刷型书刊资料为主要收藏载体的传统图书馆难以适应这些新技术带来的新需求，也使得数字图书馆走上了历史舞台，数字资源的使用者和数字资源的种类、数量迅速增长，促进了数字图书馆的快速发展。然而数字图书馆现在所使用的存储技术都在不同程度上存在技术缺陷。目前数字资源的主要存储设备是磁带和主要采用SATA接口的磁盘，系统存储容量扩充难度大，存储在系统中的数据安全性较低，难以保证数据存储的可靠性、无故障性。资金投入量较大，使得现有的存储系统难以满足新服务的发展带来的日益增长的服务需求，也没有统一而可行的存 储技术标准指导数字图书馆资源的存储系统建设，严重地阻碍了应用服务器与存储系统之间的高速数据传输，整个系统极度缺乏快速数据备份和故障恢复能力，系统的运行也不稳定。

以云存储为基础的存储系统有四大决定性优势：

1)无限扩充。云存储系统采用了网格技术、P2P技术和集群技术，支持大规模的数据存储，数字图书馆用户可以动态添加和管理存储结点和存储设备。

2)实时数据迁移和快速备份。在云存储中，所有的存储设备和存储结点对于服务对象都是一个整体，采用虚拟化技术对所有的存储设备进行逻辑上的划分，形成一个个逻辑分区，新数据一旦被传入，系统会进行快速备份。

3)投入资金量小。不需要高档的中小型计算机，可以由低廉的一般计算机组成。

4)高安全性。数据和文件被保存在不同的存储结点上，并留有文件存储位置的索引，若某文件无法被访问，操作指令将被存储系统自动的发送到另一台存储有此文件存储结点上，使文件的访问正常进行。

综上所述，云存储技术非常适合存储数字图书馆资源，为图书馆节省了庞大的存储设施，不仅减少了经费开支、也提高了数字图书馆资源存储的安全性，从而加速了数字图书馆的发展。

Java Management eXtensions技术，简称JMX技术，在标准Java技术基础上扩展的，定义管理系统和资源之间交互标准的管理规范，是管理系统和资源之间的一个接口。在Hadoop技术的支持下，JMX提供了获取NameNode、DataNode以及JobTracker运行的接口，并可以通过Web的形式展现出来。

发明内容

本发明基于上述的技术，提出并实现了一种基于混合结构的数字图书馆云存储系统，能够解决数字图书馆场景中文件的分布式存储问题，可以提高文件存储的速度和可靠性，减少可能带来的人工误操作，达到在网络环境下高效管理数字图书馆中各种文件的目的。

本发明采用的技术方案如下：