[发明专利]一种基于强化学习的恶意用户行为智能检测系统

说明书

本发明公开了一种基于强化学习的恶意用户行为智能检测方法，包括智能分析引擎模块、网络空间状态感知模块和多域动作执行模块；智能分析引擎模块用于判断在何种状态下采取何种动作；网络空间状态感知模块用于感知网络空间的当前状态，这种感知是局部感知，是智能分析引擎判断情况的依据；多域动作执行模块用于执行多域动作，并得到相应的奖励，执行网络动作、物理域和信息域的动作。本发明能够根据智能分析引擎与安全管理人员的不断反馈，智能化地生成适用于本地网络的安全管理策略，从而实现恶意用户行为的智能检测，达到降低安全管理成本的目的。

技术领域

本发明涉及一种恶意用户行为检测的技术，具体涉及一种基于强化学习的、面向用户行为序列的智能检测系统。

背景技术

通过抓取和分析目标网络流量，识别和发现用户恶意行为，是当前网络安全管理的通用做法。基于网络流量的网络安全管理主要分为三类：一是通过网络流量的五元组信息进行判断，即判断该源地址是否允许访问目的地址和目的服务，其在本质上是一种合规性检查，通过对于这种检查，可以通过部署防火墙、路由器、交换机等设备，配置访问控制列表、路由表、VLAN等方式实现网络区域隔离和控制。这种方式的缺点在于它只能实现终端或地址级别的访问控制，即完全允许或完全不允许某个地址访问某个服务，而不能实现更细粒度的控制。二是通过从网络流量的负载中提取特征信息，并将其映射到高层语义，实现对恶意行为的识别，目前被广泛部署的入侵检测系统(IDS)、入侵防御系统(IPS)即是通过这种方式发现恶意攻击行为。这种检测方式，本质上是对网络单个数据报文或报文序列的特征进行提取的过程，很容易被机器学习算法所扩展，近来学术界和工业界也提出了大量行之有效的算法，逐步实现了恶意流量特征提取的自动化，但是这种方式通常只能针对单个数据包或单条数据流来判断恶意性，而缺乏对网络整体安全态势的理解。三是通过同时抓取和集中存储网络多条链路上的流量信息，识别恶意行为并进行关联分析，其典型产品为近年来兴起的安全态势感知类产品。这种检测方式，有效利用了网络多个链路中的不同的安全信息，能够进一步提高对多步攻击和协同攻击的识别精度，但是在实际使用中，这类产品十分依赖于数据流采集的完整性，如果采集流量的链路过少，很难准确发现潜在的攻击威胁，感知全网的安全态势。

在实际的企业网络安全设备部署上，受制于设备采购成本和管理成本，不可能实现全网流量的全部采集、存储和分析，一般只是有选择性地在重点链路上部署相应的防护设备，实现部分基础数据的抓取和分析。对于这种问题，我们将其归结为网络运维策略脆弱性的一个方面。传统基于流量特征的恶意用户行为检测算法由于缺乏对用户时序动作序列特征的深入分析，难以有效发现用户隐藏在正常行为序列后的攻击行为，致使攻击者可以通过精心构造网络攻击，采取合法动作绕过安全设备的监控实施攻击。

由于在我们日常网络安全管理中，通过抓取和分析目标网络流量，识别和发现用户恶意行为是较为常用的恶意用户检测技术。但同时日常的网络管理又受制于设备成本和管理成本等，导致不能对网络进行全方位、全时域的监控。

发明内容

1、本发明的目的

本发明为了解决恶意用户行为检测问题，从而提出了一种基于强化学习的恶意用户行为智能检测系统。

2、本发明所采用的技术方案

本发明公开了一种基于强化学习的恶意用户行为智能检测系统，包括智能分析引擎模块、网络空间状态感知模块和多域动作执行模块；

智能分析引擎模块用于判断在何种状态下采取何种动作；网络空间状态感知模块用于感知网络空间的当前状态，这种感知是局部感知，是智能分析引擎判断情况的依据；多域动作执行模块用于执行多域动作，并得到相应的奖励，执行网络动作、物理域和信息域的动作；

智能分析引擎模块中，包含4个深度神经网络和1个经验回放存储器；在4个深度神经网络中，包括2个策略网络和2个Q网络，分别为当前策略网络、目标策略网络、当前Q网络和目标Q网络；