[发明专利]一种基于混合结构的数字图书馆云存储系统

权利要求书

1.一种基于混合结构的数字图书馆云存储系统，其特征是：针对数字图书馆中存在的多种不同类型和不同大小的文件，为数字图书馆文件的分布式存储设计了基于Hadoop技术的混合结构，该混合结构同时支持HBase数据库技术和传统关系数据库SQL Server技术，所述混合结构包括以下部分：

1)数字图书馆的用户，该用户包括了支持读写功能的数字图书馆的Web端用户和支持写功能的数字图书馆的PC端用户；

2)云存储服务器，用于提供基于Tomcat的数字图书馆的Web端用户的可视化操作界面，支持读写功能；

3)应用服务器，用于提供基于写队列的数字图书馆的PC端用户实现写功能；

4)混合结构中的核心控制模块，用于在云存储服务器和应用服务器之间提供一个信息交互的桥梁，从而实现对混合结构中的HBase和MySQL进行控制；

5)混合结构中的HBase部分，是建立在HDFS基础之上的列数据库；

6)混合结构中的HDFS部分，具体包括NameNode和DataNode；

7)混合结构中的MySQL部分，具体包括用户元信息和文件元信息；

基于上述混合结构的数字图书馆云存储系统，利用Hadoop技术，以HDFS集群作为后台云存储框架，构造了五个模块：

(1)CSSDL_HS登录模块：提供CSSDL_HS的新用户注册、注册用户登录和CSSDL_HS的用户注销，用户按要求填入用户名、密码，进行登陆验证；如果用户信息验证成功，则可以登陆系统；否则进入等待状态，等待用户重现输入；该模块通过数字图书馆的用户来进行展现；

(2)CSSDL_HS用户管理模块：提供查看和修改CSSDL_HS用户信息，依次通过数字图书馆的用户、数字图书馆的PC端用户、应用服务器、混合结构中的MySQL部分，并最终在混合结构中的MySQL部分存储用户的元信息；

(3)CSSDL_HS文件管理模块：提供CSSDL_HS文件的智能预处理、上传文件、下载文件、重命名文件和删除文件；CSSDL_HS文件管理模块是CSSDL_HS中的一个核心模块，它首先分别经过数字图书馆的PC端用户和数字图书馆的Web端用户把信息分别传递给权云存储服务器和应用服务器，接着经过混合结构中的核心控制模块，实现云存储服务器和应用服务器之间的信息交互，其中数字图书馆的数据文件由混合结构中的HBase完成分布式文件存储，而数字图书馆的文件元信息由混合结构中的MySQL完成集中式存储；

(4)CSSDL_HS文件夹管理模块：提供CSSDL_HS的新建文件夹、重命名文件夹和删除文件夹；当用户注册系统时，CSSDL_HS为该用户新建一个文件夹，作为该用户的根目录，之后用户所有的文件或文件夹操作包括新建、重命名和删除，都在该根目录下进行；通过数字图书馆的用户，完成MySQL的操作；

(5)CSSDL_HS服务器管理模块：用于提供查看CSSDL_HS服务器信息，依次通过数字图书馆的用户、数字图书馆的PC端用户，把信息分别传递给云存储服务器，接着通过调用Hadoop的JMX接口，实时获取HDFS服务器运行参数，这些使用JMX的Rest形式的参数经加工汉化后，显示到网页上供CSSDL_HS管理员进行监控和系统维护。

2.根据权利要求1所述的所述的基于混合结构的数字图书馆云存储系统，其特征是：CSSDL_HS文件管理模块中所述的CSSDL_HS文件的智能预处理，是通过增设的一个判断上传文件的大小的智能文件预处理模块实现的，根据用户设定的阈值智能地对文件进行预处理，设定两个阈值，阈值1为16MB，阈值2为64MB，智能文件预处理模块将多个小文件合并成大文件并建立索引，以便进行快速存取和访问，具体如下：

(1)PC端用户上传文件；

(2)文件类型判断，当上传文件大于或者等于阈值2，直接送入HDFS处理；

(3)当上传文件小于阈值2并且大于或者等于阈值1，先送入HBASE，再送入HDFS处理；

(4)当上传文件小于阈值1时，送入小文件合并队列，当该队列中文件大小之和大于阈值2时，采用MapFile技术进行文件合并，然后将合并之后的大文件送入HDFS处理；否则返回小文件合并队列。