[发明专利]基于强化学习的不完全信息网络安全分析方法及装置

权利要求书

1.一种基于强化学习的不完全信息网络安全分析方法，其特征在于，所述方法包括：

获取待分析网络的基础特征参数，所述基础特征参数包括：预设的攻击策略收益向量、防御策略收益向量、开展攻击行动所需费用向量、入侵检测系统响应费用向量、系统薄弱环节矩阵和系统攻击识别能力矩阵；

利用预先构建的网络安全强化分析模型根据所述待分析网络的所述基础特征参数确定攻击者的攻击策略空间集合和防御者的防御策略空间集合，所述网络安全强化分析模型为采用区间数描述网络安全分析的不完全信息的方式构建的；

分别输出所述攻击者的所述攻击策略空间集合和所述防御者的所述防御策略空间集合，所述攻击策略空间集合中各元素表示攻击者采取某一攻击策略的强度，所述防御策略空间集合中各元素表示防御者采取某一防御策略的强度；

其中，所述利用预先构建的网络安全强化分析模型根据所述待分析网络的所述基础特征参数确定攻击者的攻击策略空间集合和防御者的防御策略空间集合，包括：

在考虑攻防双方策略基础上，根据所述待分析网络的所述基础特征参数和第一网络安全强化分析子模型

确定所述攻击者的所述攻击策略空间集合和所述防御者的所述防御策略空间集合；

其中，μ^A(μ^I,P)表示攻击者的攻击策略空间集合，μ^I(μ^A,P)表示防御者的防御策略空间集合，θ^A表示攻击定义向量，θ^I表示防御定义向量，表示攻击者的攻击策略收益向量，表示防御者的防御策略收益向量，表示开展攻击行动所需费用向量，表示入侵检测系统响应费用向量，γ表示虚警费用、入侵检测费用、攻击者欺骗费用之和，i表示攻击策略序号，i＝1,…,A_max，k表示防御策略序号，k＝1,…,R_max，diag(·)表示对角矩阵，Q表示系统薄弱环节矩阵，P表示系统攻击识别能力矩阵，表示防御行动与攻击行动之间的交互关系矩阵，[·]⁺表示将变量·中所有数值小于0的赋值为0。

2.根据权利要求1所述的方法，其特征在于，所述第一网络安全强化分析子模型是通过如下方式构建的：

获取网络攻击者和防御者的原始收益函数方程

对所述原始收益函数方程中各个收益函数求导，并设置各所述收益函数的导数等于零，得到第一网络安全强化分析子模型

将所述第一网络安全强化分析子模型作为所述网络安全强化分析模型，所述网络安全强化分析模型确定出的攻击策略和防御策略，使得网络攻击者和防御者之间达到均衡；

其中，J^A(μ^A,μ^I,P)表示攻击策略收益函数，J^I(μ^A,μ^I,P)表示防御策略收益函数，(·)^T表示变量·的转置矩阵。

3.根据权利要求1所述的方法，其特征在于，当所述系统攻击识别能力矩阵与时间变量之间的关系式为时，所述利用预先构建的网络安全强化分析模型根据所述待分析网络的所述基础特征参数确定攻击者的攻击策略空间集合和防御者的防御策略空间集合，包括：

根据所述待分析网络的所述基础特征参数和第二网络安全强化分析子模型

确定所述攻击者的所述攻击策略空间集合和所述防御者的所述防御策略空间集合；

其中，n表示时间变量，n+1表示n时刻的下一时刻，μ^A(n+1)表示n+1时刻攻击者的攻击策略空间集合，μ^I(n+1)表示n+1时刻防御者的防御策略空间集合，δ表示第一标量，δ＞0，ε表示第二标量，ε＞0，W(n)表示n时刻随机矩阵，[·]^N表示将变量·映射到区间[dt_min,dt_max]的函数，dt_min表示系统攻击识别能力矩阵P(n)中各个元素的最小值，dt_max表示系统攻击识别能力矩阵P(n)中各个元素的最大值，dt_max＜1。