[发明专利]基于强化学习的全互联网端口扫描方法及装置

权利要求书

1.一种基于强化学习的全互联网端口扫描方法，其特征在于，包括以下步骤：

将互联网划分为多个目标网络，并对每个目标网络中的预设数量的活跃地址进行全端口扫描，以根据扫描得到的端口开放信息构建开放端口关联图；

根据所述开放端口关联图推荐每个目标网络中未探测的活跃地址的候选端口，并对候选端口进行扫描得到端口扫描反馈结果；

基于所述端口扫描反馈结果对候选端口的预期奖励进行更新，并基于更新后的预期奖励更新所述开放端口关联图，根据更新后的开放端口关联图预测每个目标网络下一个需要被扫描的活跃地址的候选端口；以及，

当每个目标网络的探测端口的数量达到探测数量阈值时，完成一个所述目标网络的端口扫描任务。

2.根据权利要求1所述的方法，其特征在于，所述对每个目标网络中的预设数量的活跃地址进行全端口扫描，以根据扫描得到的端口开放信息构建开放端口关联图，包括：

在一个目标网络中选取预设数量的活跃地址进行全端口扫描，获取端口开放信息；

基于所述端口开放信息对所述全端口的端口开放概率进行计算，得到初始化端口开放概率；

根据所述初始化端口开放概率和预设的权重计算公式，构建所述开放端口关联图。

3.根据权利要求2所述的方法，其特征在于，所述根据所述开放端口关联图推荐每个目标网络中未探测的活跃地址的候选端口，包括：

当扫描一个目标网络中未探测的活跃地址的端口时，基于所述开放端口关联图选取最高概率的端口节点作为入口节点；

判断入口节点对应端口的开放状态，根据开放状态判断结果更新所述最高概率的端口节点对应的端口开放概率；以及，

根据预设的概率计算公式对所述最高概率的端口节点所指向的其他所有端口节点对应的端口开放概率进行计算得到端口开放的后验概率，以根据更新后的端口开放概率推荐候选端口。

4.根据权利要求3所述的方法，其特征在于，所述预设数量活跃地址为种子地址，所述方法，还包括：基于预扫描机制获取开放端口i的先验奖励：

其中，k表示种子地址的数量，n_i表示种子地址中开放端口i的数量。

5.根据权利要求4所述的方法，其特征在于，所述方法，还包括：在所述每个目标网络的一个活跃地址上扫描端口i的奖励为：

在完成对一个活跃地址的端口扫描后，开放端口的奖励更新为：

其中，表示在端口i上进行了n次扫描后的奖励，表示端口i的第j次扫描的奖励；

根据端口i更新后的奖励更新开放端口关联图，则更新过程为：

其中，为权重。

6.一种基于强化学习的全互联网端口扫描装置，其特征在于，包括：

关联图构建模块，用于将互联网划分为多个目标网络，并对每个目标网络中的预设数量的活跃地址进行全端口扫描，以根据扫描得到的端口开放信息构建开放端口关联图；

端口扫描模块，用于根据所述开放端口关联图推荐每个目标网络中未探测的活跃地址的候选端口，并对候选端口进行扫描得到端口扫描反馈结果；

奖励和图更新模块，用于基于所述端口扫描反馈结果对候选端口的预期奖励进行更新，并基于更新后的预期奖励更新所述开放端口关联图，根据更新后的开放端口关联图预测每个目标网络下一个需要被扫描的活跃地址的候选端口；以及，

扫描完成模块，用于当每个目标网络的探测端口的数量达到探测数量阈值时，完成一个所述目标网络的端口扫描任务。

7.根据权利要求6所述的装置，其特征在于，所述关联图构建模块，还用于：

在一个目标网络中选取预设数量的活跃地址进行全端口扫描，获取端口开放信息；

基于所述端口开放信息对所述全端口的端口开放概率进行计算，得到初始化端口开放概率；

根据所述初始化端口开放概率和预设的权重计算公式，构建所述开放端口关联图。