[发明专利]一种基于深度策略梯度的入侵检测算法

权利要求书

1.一种基于深度策略梯度的入侵检测算法，其特征在于，该算法中构建了入侵检测智能体，所述入侵检测智能体包括：能够根据历史入侵检测数据预测未来状态的感知模块；及根据当前入侵检测环境状态和历史信息决定此时采取什么入侵检测策略的决策模块；

应用所述入侵检测智能体，所述入侵检测算法包括如下步骤：

1)获取经过数据处理后的数据x₁,x₂,...,x_T并生成特征向量作为当前环境状态状态s_t；其中，所述当前环境状态s_t由入侵检测智能体与入侵检测环境交互生成；

2)选择执行动作a_t，环境反馈给智能体的奖励r_t，以及交互生成的新的环境状态s_tt1，之后以元组(s_t，a_t，r_t，s_r+1)的形式存储在经验池中；

3)入侵检测智能体计算一个入侵检测过程所有时刻入侵检测环境反馈给入侵检测智能体的累积奖励以及期望值；

4)入侵检测智能体根据策略梯度算法更新入侵检测策略π_θ，最终实现最大化步骤3)所获得的期望奖励；

5)判断是否到达终止状态，如果是，则执行步骤6)，否则返回到步骤2)；

6)入侵检测智能体根据最新的入侵检测策略进行入侵检测。

2.根据权利要求1所述的一种基于深度策略梯度的入侵检测算法，其特征在于，所述步骤2)中的入侵检测环境包括：

1)策略：采用随机性策略，通过参数概率分布π_θ(a|s)来表示，计算公式如下：

π_θ(a|s)＝p(a|s；θ) (1)

其中，p(a|s；θ)表示在给定参数θ的前提下，入侵检测智能体根据输入的状态s选择入侵检测动作a的可能性；

2)状态序列：包括不限于历史入侵检测数据、入侵检测智能体与入侵检测环境在交互过程中选择的执行动作a_t，环境反馈给智能体的奖励r_t，以及交互生成的新的环境状态s_t+1；

3)动作

所述入侵检测智能体包括正常和报警两个入侵检测动作，具体动作种类如下所示：

a∈{正常，报警}＝{1，0} (2)

其中，0代表的是正常，1代表的是报警；

4)奖励值

奖励分为两个部分：在攻击面st的时候系统的检测准确率accuracy(st)和从攻击面st-1切换到st的效率effective(s_t,s_t-1)，β和γ为二者的调节系数；在攻击面st时的检测准确率方面，定义accuracy(st)如下：

其中，evalz(s_t,i)为与奖励函数成正比关系的n个指标，evalf(s_t,i)为与奖励函数成反比关系的m个指标；

在攻击面从st-1切换到st的效率方面，定义effective(s_t,s_t-1)函数来计算系统的切换效率，公式如下：

effective(s_t,s_t-1)＝λtime(s_t,s_t-1)+μresource(s_t,s_t-1) (5)

其中，time(s_t,s_t-1)为系统从攻击面st-1切换到st的时间，resource(s_t,s_t-1)为系统从攻击面st-1切换到st资源利用率的变化,λ和μ为二者的调节系数。

3.根据权利要求1所述的一种基于深度策略梯度的入侵检测算法，其特征在于，

所述步骤2)中的经验池可以存储各个策略交互产生的经验数据，每个策略都可以互相利用彼此之间的经验数据。