[发明专利]基于强化学习的检测高级持续威胁的资源调度方法

权利要求书

1.基于强化学习的检测高级持续威胁的资源调度方法，其特征在于包括以下步骤：

步骤1：防御系统利用S_M个CPU计算资源检测计算机或云存储系统中的高级持续威胁(APT)，利用个CPU计算资源在k时刻对第i个云存储设备进行检测，其中1≤i≤D；防御系统检测D个云存储设备的资源分配向量为：

动作范围为：

动作个数为：

|Δ_D|；

步骤2：防御系统观察上一时刻APT攻击D个云存储设备使用的CPU计算资源个数作为系统当前k时刻的状态s^(k)，即s^(k)＝N^(k-1)，其中是APT攻击每个云存储设备分配的攻击资源的个数，N^(k-1)表示APT攻击D个云存储设备的攻击资源分配向量；

步骤3：计算防御系统的即时收益公式为云存储设备中的数据量是时变的，表示k时刻第i个设备的数据存储量，其中1≤i≤D，M_i、N_i表示防御系统和攻击者为第i个设备分配的计算资源个数，sgn表示符号函数，

步骤4：在APT攻击模型未知的情况下，防御系统通过神经情景控制算法，学习如何调度其CPU计算资源来检测APT攻击，优化动态数据存储系统的检测资源调度策略，以获得防御系统的最大收益，其中神经情景控制学习算法包括以下步骤：

4.1)构造深度卷积神经网络，初始化深度卷积神经网络权重参数θ、输入状态序列包含的以往状态动作对个数W以及网络更新操作次数H；初始化的Q值矩阵，对防御系统的所有资源分配动作一个对应的输出Q值；初始化折扣因子γ和学习因子δ，其中0＜γ≤1，0≤δ≤1；

4.2)为防御系统的每个资源分配动作初始化一个情景记忆模块，即一个键-值对阵列，键为给定输入下卷积神经网络的输出h，值即为对应的估计Q值，该模块方便的进行读写操作；

4.3)在k时刻，k≤W时，防御系统随机选取一个资源分配动作M^(k)检测数据存储系统中的APT攻击；k≥W时，构造深度卷积神经网络的输入状态序列

4.4)将状态序列输入到深度卷积神经网络产生一个键h，对于每个资源分配动作M，利用近似最近邻查找算法在情景记忆模块中查询与键h最为相近的p个情景，对应键为h_i，1≤i≤p，计算h与h_i的核k(h,h_i)，其中δ＝10^-3；利用公式获得每个近似情景所占权重w_i，其中表示对p个核k(h,h_j)求和，1≤j≤p；最终输出的Q值是该动作的情景记忆模块中p个邻近情景的键h_i与对应估计Q_i值的加权之和，即

4.5)防御系统以1-ε的概率，选取具有最大Q值的CPU计算资源调度策略，以ε的概率随机选取其他资源调度策略，然后根据选择的资源调度策略检测计算机或云存储系统中的APT攻击，其中0＜ε＜1；

4.6)观察当前时刻下APT攻击者的CPU计算资源的分配结果，评估当前防御系统的即时收益

4.7)求解键h对应的估计Q值；首先查询对应最大Q值的动作M'，然后根据公式获得N阶估计Q值将键-值对存入到情景记忆模块中；

4.8)将k时刻经验存放入经验池中；

4.9)最小化网络输出Q值与估计值Q^(N)之间的损失值，对第k时刻网络的权重参数θ^(k)进行更新操作；在每一次更新过程中，随机从经验池中选取经验，计算损失值L(θ^(k))，其中表示统计期望计算；

采用随机梯度下降法，更新深度卷积神经网络的权重参数θ^(k)；

4.10)根据云存储环境和攻击模型变化，防御系统重复步骤4.4-4.9，直到学习到稳定的检测资源调度策略。

2.如权利要求1所述基于强化学习的检测高级持续威胁的资源调度方法，其特征在于在步骤3中，所述即时效益与安全的云存储设备的个数成正比例关系，对于任何一个云存储设备，若防御系统分配的检测资源个数大于APT分配的攻击资源个数，则认为云存储设备中的数据是安全的；所述云存储设备中的数据，存储量B_i随时间动态变化。