[发明专利]一种基于改进的Q学习的最佳攻击路径规划方法

摘要

本发明涉及一种基于改进的Q学习的最佳攻击路径规划方法，属于信息安全技术领域。具体操作步骤为步骤一、获取网络结构。步骤二、获取网络系统中各主机中存在的漏洞，建立主机漏洞状态表。步骤三、建立改进的Q学习模型。步骤四、通过改进的Q学习算法，获取最佳攻击路径路径。本发明提出的基于改进Q学习的最佳攻击路径规划方法与已有技术相比较，具有以下优点①取消了动作集合并将所有动作与状态融合,使得算法的空间复杂度下降；②最优攻击路径生成速度快；③生成的最优攻击路径更简洁有效。

主权项

一种基于改进的Q学习的最佳攻击路径规划方法，其特征在于：具体操作步骤为：步骤一、获取网络结构；步骤1.1：获取网络系统中各主机的软件应用，建立软件应用与主机对应表；所述软件应用与主机对应表包含：软件应用名称和主机名称；步骤1.2：获取网络系统中各主机之间的会话链接，建立主机间会话链接表；所述主机间会话链接表包括：源主机名和目标主机名；步骤二、获取网络系统中各主机中存在的漏洞，建立主机漏洞状态表；所述主机漏洞状态表包括：主机名称、漏洞ID和攻击成功率；步骤三、建立改进的Q学习模型，如公式(1)所示；Qn+1(s)＝(1‑δn(s))Qn(s)+δn(s)[R(s,s')+γJn(s')])   (1)其中，s表示当前状态，s'表示当前状态s的后继状态；n为迭代步数，n≥0；Qn+1(s)是第(n+1)步迭代时对当前状态s下得到的总体回报的一个估计值；Qn(s)是第n步迭代时对当前状态s下得到的总体回报的一个估计值；δn(s)为第n步的学习率，通过公式(2)得到；R(s,s')为立即回报函数，通过公式(3)得到；γ为贴现因子，为人为预先设定值，γ∈[0,1)；Jn(s')为延时回报函数，通过公式(4)得到；δn(s)=αβ+n---(2)]]>其中，α、β为人为设定值，并且R(s,s′)=Pr×WiΣjWj×ΣmTim---(3)]]>其中，R(s,s')表示在当前状态s下，到达后继状态s'的立即回报估计值；Pr为原子攻击成功率；i为主机的顺序编码；Wi为主机i的权重；∑jWj为整个网络系统中所有主机的权重和；m为主机i的第m种权限，m为正整数；Tim表示利用当前状态s漏洞获取主机i的第m种权限对应的评分值；∑mTim是对所有Tim求和；Jn(s')＝maxQn(s')   (4)其中，Jn(s')为在后继状态s'下，Qn(s')的最大值；Qn(s')表示第n步中，在后继状态s'下得到的总体回报的估计值；步骤四、通过改进的Q学习算法，获取最佳攻击路径路径；具体为：步骤4.1：建立最佳攻击路径序列，用符号L表示，其初始值为空；步骤4.2：设置改进的Q学习模型的初始值，此时迭代步数n＝0；具体为：设置攻击路径的源主机以及目标主机；到主机漏洞状态表检索源主机对应的状态，将其作为当前状态s；设置Qn(s)＝0，即Q0(s)＝0；步骤4.3：通过公式(1)计算第(n+1)步迭代时，对当前状态s下得到的总体回报的一个估计值Qn+1(s)；步骤4.4：如果Qn+1(s)＝Qn(s)，则将当前状态s以及得到的后继状态s′的集合，放入最佳攻击路径序列L中，从而得到最佳攻击路径序列L，结束操作；否则使迭代步数n自增1，重复步骤4.3至步骤4.4的操作；所述最佳攻击路径序列L中最后一个漏洞位于步骤4.2中所述目标主机中；经过上述步骤的操作，得到从源主机到目标主机的最佳攻击路径序列L。