[发明专利]一种基于增强学习的动态保护路径规划方法

权利要求书

1.一种基于增强学习的动态保护路径规划方法，其特征在于：其具体操作为：

步骤一、生成分布式的网络攻击图；具体为：

步骤1.1：使用2个以上搜索代理同时搜索网络中未被使用的特权节点，并将它们压入各搜索代理的搜索栈中；

步骤1.2：将特权节点进行扩展；

步骤1.3：搜索栈中没有特权节点的搜索代理，依次向其他搜索代理请求一个或多个特权节点；具体为：搜索栈中没有特权节点的搜索代理向一个搜索代理请求一个或多个特权节点，如果当前被请求搜索代理中没有特权节点返回给请求搜索代理，则请求搜索代理向下一个其它搜索代理发送请求；如果被请求代理有特权节点返回给请求代理，即搜索代理获得特权节点，则返回到步骤1.2，并重复步骤1.2至1.3的操作；如果全部其他搜索代理都没有特权节点返回给请求代理，那么将当前没有特权节点的搜索代理设置为挂起模式；

步骤1.4：当所有搜索代理都进入挂起模式时，搜索结束，执行步骤1.5的操作；

步骤1.5：将每个搜索代理的子攻击图更新，然后汇总到总代理，生成分布式的网络攻击图；

步骤二、寻找最差攻击路径；

在步骤一操作的基础上，使用通用安全漏洞评估系统CVSS对步骤一生成的网络攻击图中的所有原子攻击添加攻击成功率，并通过公式(0)计算攻击路径成功率；所述原子攻击为单次对漏洞的利用或对信息源的使用的攻击；

Pr＝pr₀×pr₁×......×pr_n-1 (0)

其中，Pr表示攻击路径成功率；pr₀、pr₁、.....、pr_n-1分别表示第1条边到第n条边的攻击成功率；

然后，选取攻击路径成功率最低的一条路径作为最差攻击路径，得到特权节点集合；

步骤三、生成网络模型；

步骤三与步骤一同步操作，具体为：

步骤3.1：获取主机中的软件应用和网络接口；

步骤3.2：获取各个网络接口所联系的IP地址和会话链接；

步骤3.3：获取各个软件应用所使用的端口号、IP地址、信息源以及所述软件应用的后端应用；

步骤3.4：根据步骤3.1至3.3得到的各参数之间的逻辑关系建立网络模型；

步骤四、通过增强学习，获取最佳保护路径；具体为：

步骤4.1：用符号V*(S)表示在状态S下的收益最优值，则收益最优值函数如公式(1)所示；

V*(S)＝max(π)Vπ(S) (1)

其中，S为前置状态；π表示政策；max(π)Vπ(S)表示在状态S下，选取政策π使得总收益函数Vπ(S)最大化；

步骤4.2：将公式(1)转换为贝尔曼方程，如公式(2)所示；

其中，V(S)为在状态S下的收益值；R(S)为奖励函数；γ为贴现因子，γ∈(0,1)；S'为后置状态；a表示动作；Psa(S')表示在状态S下，通过动作a转换到S'状态的概率；V*(S')表示在状态S′下的收益最优值；

步骤4.3：初始化V(S)＝0，同时设置V*(S)的阈值，用符号σ表示，σ≥10000；对公式(2)进行迭代，直到V(S)收敛于V*(S)，获取此时的政策π，得到网络节点集合；

步骤4.4：如果步骤二得到的最差攻击路径对应的攻击路径成功率Pr＞d，d为人为设定的阈值，d∈[0.1,0.3]，则步骤4.3得到网络节点集合对应的传输路径为最优保护路径，结束操作；否则，执行步骤4.5的操作；

步骤4.5：用步骤4.3得到的网络节点集合与步骤二得到的特权节点集合取交集，得到信息传输节点集合；

如果信息传输节点集合不为空，则信息传输节点集合对应的传输路径即为最优保护路径；

如果信息传输节点集合为空，则在步骤二中向上查找次差攻击路径以及对应的特权节点集合，然后重复步骤4.3至步骤4.5的操作，得到信息传输节点集合；如果信息传输节点集合依然为空，则在步骤二中继续向上查找，重复步骤4.3至步骤4.5的操作。