[发明专利]基于Hadoop架构的海量数据管理系统

说明书

本发明公开了一种基于Hadoop架构的海量数据管理系统，该系统包括：存储层模块、基础管理层模块以及应用层模块；其中，所述存储层模块由底层存储设备子模块与存储虚拟化管理子模块组成，负责海量异构数据的采集与管理；所述基础管理层模块是系统核心，负责实现所述存储层模块中不同区域间多个存储设备的协同工作，一体化对外提供服务；所述应用层模块利用所述基础管理层模块所提供数据为用户提供业务层面的统一界面。本发明方案利用了Hadoop架构的海量数据管理系统存储结果数据，提高了数据获取速度以及信息检索效率。

技术领域

本发明属于大数据管理技术领域，涉及一种基于Hadoop架构的海量数据管理系统。

背景技术

随着信息化技术的不断进步，现代企业从分部到总部，甚至是生产的每一个产品，无不都在产生着各式各样的数据，个人用户的数据存储规模达到了TB(10¹²B)级别，大中型企业数据存储规模达到了EB(10¹⁸B)级别，因此，类型繁多、数据量巨大、内容丰富的数据在长期保存、分析，体现数据价值的整个过程，需要一套能够不断扩展的数据管理系统来支撑。

由于传统存储设备容量、传输带宽有限，而且设备节点扩展难、使用难、数据管理难，不足以应付不断增长数据的存储要求，对于需要面向不同地域分布的用户进行服务更是无力应对。

现有的数据文件管理系统大都基于FTP客户端和本地磁盘阵列完成的简单数据管理系统，不具备分布式扩展能力，而且客户端使用不方便、与客户业务结合不紧密，不支持多客户并行使用及海量数据文件的管理。

发明内容

本发明目的在于提供一种基于Hadoop架构的海量数据管理系统，针对传统存储设备不足以应付不断增长的用户及数据存储要求的问题，通过利用HDFS分布式文件系统作为底层存储，上层利用Ngix反向代理的方式管理集群负载，有效地解决了在用户激增的情况下，较容易的通过增加硬件就完成系统的扩容，并具备异地就近服务、异地互备的能力，并在前端搭建了WEB架构的数据管理应用子系统，实现了用户可以随时、随地的接入网路对数据进行管理和分享。

为解决上述技术问题，本发明采用如下的技术方案：一种基于Hadoop架构的海量数据管理系统，该系统包括：存储层模块、基础管理层模块以及应用层模块；其中，所述存储层模块由底层存储设备子模块与存储虚拟化管理子模块组成，负责海量异构数据的采集与管理；所述基础管理层模块是系统核心，负责实现所述存储层模块中不同区域间多个存储设备的协同工作，一体化对外提供服务；所述应用层模块利用所述基础管理层模块所提供数据为用户提供业务层面的统一界面。

进一步地，所述存储层模块中，所述底层存储设备子模块包括Nas、FC、iSCSI等，统一由所述虚拟化管理子模块进行集中管理，对底层设备进行状态监视和审计维护等。

进一步地，所述基础管理层模块为了保证数据安全性，采用了数据加密技术，同时为了提高数据可靠性，采用了数据容灾备份技术。

进一步地，所述应用层模块主要提供了部门组织架构、审批流程控制、数据驾驶舱管理以及任务管理等业务层面的控制和应用。

本发明与现有技术相比具有以下的有益效果：

本发明方案针对传统存储设备不足以应付不断增长的用户及数据存储要求的问题，通过利用HDFS分布式文件系统作为底层存储，上层利用Ngix反向代理的方式管理集群负载，解决了在用户激增的情况下，较容易的通过增加硬件就完成系统的扩容，并具备异地就近服务、异地互备的能力，且实现了用户可以随时、随地的接入网路对数据进行管理和分享。

附图说明

图1是基于Hadoop架构的海量数据管理系统的整体架构图。

图2是基于Hadoop架构的海量数据管理系统的软件层次逻辑示意图。

具体实施方式