[发明专利]一种HDFS系统防火墙的实现方法和防火墙系统

说明书

本发明提供了一种HDFS系统防火墙的实现方法和防火墙系统，HDFS系统防火墙设置在应用服务器和NameNode服务器之间的信道上，该方法包括：接收来自应用服务器的表示向NameNode服务器进行元数据访问的元数据访问请求；对元数据访问请求进行预设细粒度权限认证，得到认证结果；当预设细粒度权限认证通过时，将元数据访问请求发送至NameNode服务器；接收来自NameNode服务器的针对元数据访问请求的元数据信息；将元数据信息返回至应用服务器；当预设细粒度权限认证未通过时，将表示认证未通过的错误信息返回至应用服务器。本发明通过在客户端向NameNode服务器请求文件的元数据信息时，对客户端访问请求进行细粒度权限检查，能够提升HDFS系统的安全防护能力，并屏蔽集群外部攻击。

技术领域

本发明涉及分布式文件系统的安全技术领域，特别是涉及一种HDFS系统防火墙的实现方法和防火墙系统。

背景技术

近年来，随着大数据应用的普及，Hadoop系统(其中，Hadoop是一个由Apache基金会所开发的分布式系统基础架构)以及以Hadoop为底层技术构建的生态体系得到广泛应用，已经成为大数据处理事实上的技术平台代名词。HDFS(Hadoop分布式文件系统)作为一个以Hadoop系统为基础架构的分布式文件系统，是HBase、Hive等数据库的最底层文件存储系统。同时，Hadoop生态中的大多数存储工具都支持HDFS的数据存储。因此，HDFS是大数据处理技术基石中的基石。

其中，HDFS:采用主从架构，由NameNode(名字节点)和DataNode(数据节点)两部分构成。其中，NameNode是主节点，用于存储文件的元数据信息，可以是一个或多个；DataNode是从节点，用于存储实际文件块，数量可达上千个。

HDFS系统的安全防护是Hadoop生态安全防护的基石。目前，主流的Hadoop版本提供基于操作系统级的弱HDFS权限控制；Ranger等第三方组件能够提供对Hadoop生态多个组件的统一权限管理；Knox提供Rest API级别的访问代理。但是，原生Hadoop和Ranger提供的权限控制都集成在NameNode进程中。也就是说，传统的HDFS系统的防火墙的部署需要嵌入到HDFS系统的集群内部，而且，在部署完成后，集群必须重启才能进行安全防护，从而影响原有集群的运行，而且，无法屏蔽外部恶意用户的攻击；而Knox则只提供HTTP协议的安全防护且仅提供粗粒度的服务级权限管控，无法有效抵御外部攻击。

由此可见，HDFS系统的传统安全防护方案的安全防护能力较弱，不能有效解决日益严峻的大数据安全防护问题。

发明内容

本发明提供了一种HDFS系统防火墙的实现方法和防火墙系统，以解决HDFS系统的传统安全防护方案所存在的安全防护能力弱，无法屏蔽集群外部攻击的问题。

为了解决上述问题，根据本发明的一个方面，本发明公开了一种HDFS系统防火墙的实现方法，所述HDFS系统包括NameNode服务器，所述HDFS系统防火墙设置在应用服务器和NameNode服务器之间的信道上，所述方法包括：

接收来自所述应用服务器的表示向所述NameNode服务器进行元数据访问的元数据访问请求；

对所述元数据访问请求进行预设细粒度权限认证，得到认证结果；

当所述预设细粒度权限认证通过时，将所述元数据访问请求发送至所述NameNode服务器；

接收来自所述NameNode服务器的针对所述元数据访问请求的元数据信息；

将所述元数据信息返回至所述应用服务器；

当所述预设细粒度权限认证未通过时，将表示认证未通过的错误信息返回至所述应用服务器。