[发明专利]大数据平台安全防护方法

说明书

本发明涉及一种大数据平台安全防护方法,所述的方法是将hadoop大数据平台相关组件使用防火墙与客户端进行隔离，客户端与hadoop大数据平台相关组件通信需通过数据权限网关进行，由权限管理组件进行认证、授权和审计。该安全防护方法不存在单点故障节点，性能可根据需求弹性扩展;Hadoop节点扩展对安全管理没有任何影响，管理方便、简单;客户端使用自有协议的软件与数据权限网关进行通信，支持加密和自动负载均衡，可防止任意设备的单点故障对业务造成影响。

技术领域

本发明涉及一种大数据平台安全防护方法。

背景技术

随着近年来信息系统的快速稳定发展的需要，国内应用和研究Hadoop大数据平台的企业也越来越多，包括淘宝、百度、腾讯、网易、金山等，很多科研院所也投入到Hadoop大数据平台的应用和研究中，包括中科院、清华大学、浙江大学和华中科技大学等。当前大一点的公司都采用了共享Hadoop集群的模式，这种模式可以减小维护成本，且避免数据过度冗余，增加硬件成本。共享Hadoop是指：（1）管理员把研发人员分成若干个队列，每个队列分配一定量的资源，每个用户或者用户组只能使用某个队列中得资源；（2）HDFS上存有各种数据，有公用的，有机密的，不同的用户可以访问不同的数据。共享集群类似于云计算或者云存储，面临的一个最大问题是安全。

到目前为止，Hadoop大数据平台绝大多数安全机制都是基于Kerberos实现的，管理复杂，维护困难。主要存在以下三个缺点：

1. Hadoop集群节点数多，配置和维护一个使用kerberos系统高性能，稳定的hadoop集群难度非常高。

2. Hadoop中的hdfs是一个文件系统，用户的认证和授权比较复杂，难度不低于linux系统的用户和组管理。加上kerberos后，用户和用户组的管理更加复杂，通常一个合适的用户不能访问hdfs上的文件。

3. Hadoop加上kerberos后，通常原来的用户和文件，可能都失效导致数据流失。尤其是一些根目录，往往需要格式化整个系统才能使用。增加一个新用户也是比较难的。因为要考虑各个节点间的访问权限。

为解决基于Kerberos的管理复杂的问题，本发明提供一种外挂的网关式的安全防护方法。

发明内容

本发明提供一种大数据平台安全防护方法，本发明所采用的技术方案是：所述的方法是将hadoop大数据平台相关组件使用防火墙与客户端进行隔离，客户端与hadoop大数据平台相关组件通信需通过数据权限网关进行，由权限管理组件进行认证、授权和审计;

所述的方法是将hadoop大数据平台相关组件④使用防火墙⑤与客户端①进行隔离，客户端①与hadoop大数据平台相关组件④通信需通过数据权限网关②进行，由权限管理组件③进行认证、授权和审计;数据权限网关②由网关和zookeeper组成，网关和zookeeper均可根据需求弹性扩展;客户端①使用自有协议的软件与数据权限网关②进行通信，支持加密和自动负载均衡;数据权限网关②中的网关定时向zookeeper报告心跳信息，将状态和负荷信息写入zookeeper。心跳时间可自定义调整，在10毫秒~10秒之间调整;

客户端①与数据权限网关②之间采用非对称密钥加密通信方式;

客户端①与数据权限网关②通信时支持轮询、hash、最低资源占用、响应最快、最低负载等负载均衡算法;

权限管理组件③中的平台权限管理模块将权限信息存储在权限信息缓存和权限信息持久化中，权限信息缓存和权限信息持久化之间进行数据同步。平台权限管理模块从权限信息缓存中获取数据;权限信息缓存的存储方式包括但不限于memcached、redis等NOSQL内存数据库，权限信息持久化的存储方式可以是磁盘文件或者关系型数据库。