[发明专利]一种面向大数据平台的拒绝服务检测方法

说明书

本发明公开了一种面向大数据平台的拒绝服务检测方法。本方法为：1)在大数据平台中选取若干节点作为检测节点，多个节点作为计算节点；并且设置一用户黑名单；2)对提交的应用先在检测节点中检测；如果其中一任务未通过检测，则将该任务和应用均标记为failed；通过则分配到计算节点上继续执行；3)对节点进行检测，当节点上的标记为failed的任务数目超过设定值P时，将该节点标记为UNHEALTHY；当此类计算节点数目超过设定阈值时，检测这些计算节点上标记failed的任务，如果这些任务来自同一用户或来相似度超过设定值，则将这些计算节点加入到排除列表；当排除列表中的节点数目占比超过N％，判断存在拒绝服务攻击。

技术领域

本发明涉及大数据安全领域，尤其涉及一种面向大数据平台的拒绝服务检测方法。

背景技术

在大数据时代的背景下，其信息安全问题已经延伸到了各个领域，主要包含了企业数据的外漏、商业间谍、隐私泄露以及黑客攻击等方面。在大数据时代逐渐完备的背景下，可以说网络信息安全的形式是十分严峻的。能否保护自己的隐私安全、信息安全、集群可用性，成为了部署大数据的首道难题。目前，常见的大数据处理平台Hadoop、Storm、Spark等，在开发的时候，对如何创建一个安全的分布式计算环境上没有考虑。由于集群都部署在有防火墙保护的局域网中且只允许公司内部人员访问，因此，添加安全机制的动机并不像传统的安全概念那样是为了防御外部黑客的攻击，而是为了更好地让多用户在共享集群环境下安全高效地使用集群资源。

目前安全研究人员已经从系统层面提出了安全策略，系统安全机制由认证和授权两大部分构成。认证就是简单地对一个实体的身份进行判断；而授权则是向实体授予对数据资源和信息访问权限的决策过程。其中，认证机制采用Kerberos和Token两种方案，而授权则是通过引入访问控制列表(Access Control List，ACL)实现的。

认证机制

同时采用了Kerberos和Token两种技术，其中Kerberos用于用户与服务和服务与服务之间的认证，它是一种基于可信任的第三方服务的认证机制，在高并发情况下，效率较低。为了解决该问题，Kerberos一旦在客户端(可以是用户或者另一个服务)和服务器之间建立一条安全的网络连接后，客户端便可通过该连接从服务端获取一个密钥。由于该密钥仅有客户端和服务端知道，因此，接下来客户端可使用该共享密钥获取服务的认证，即基于授权令牌(Delegation Token)的认证机制。

授权机制

通过访问控制列表(ACL)实现的。按照授权实体，可分为队列访问控制列表、应用程序访问控制列表和服务访问控制列表，下面分别介绍。

1)队列访问控制列表：为了方便管理集群中的用户，将用户/用户组分成若干队列，并可指定每个用户/用户组所属的队列。通常，每个队列包含提交应用程序权限和管理应用程序权限(比如杀死任意应用程序)两种，这些通过资源调度器专属的配置文件设置的。

2)应用程序访问控制列表：为了用户使用方便，应用程序可以对外提供一些特殊的可直接设置的参数。默认情况下，作业拥有者和超级用户拥有以上两种权限且不可以修改。

3)服务访问控制列表：服务访问控制是集群提供的最原始的授权机制，它用于确保只有那些经过授权的客户端才能访问对应的服务。服务访问控制是通过控制各个服务之间的通信协议实现的。

同时，集群为了保证节点健康有效地执行任务，引入了状态机机制、健康状况检查机制、排除列表机制。

状态机机制：引入节点状态机用于维护一个节点的生命周期，记录了节点可能存在的各个状态以及导致状态间转换的事件。当某个事件发生时，中央节点的管理组件会根据实际情况进行节点状态转移，同时触发一个行为。