[发明专利]一种基于强化学习的物联网覆盖漏洞修复方法

说明书

本发明公开了一种基于强化学习的物联网覆盖漏洞修复方法：(1)根据目标区域监测覆盖需求，建立网络模型；(2)通过可信信息覆盖模型建立网络覆盖模型，计算覆盖率；(3)采用漏洞重建点与可移动节点最小最短坐标距离双向选择法确定漏洞区域的指向性修复节点；(4)采用Q‑Learning方法，对指向性修复节点M‑node进行训练，对漏洞子网格进行修复，直到覆盖率满足要求或迭代次数达到设定上限。本发明方法修复后全局覆盖率高，该发明全面地从信息协同的角度挖掘覆盖目标区域监测重建点的空间相关性，并基于强化学习的方法利用奖励机制指导指向性修复节点的移动，完成覆盖漏洞修复，节约能耗和修复时长，提高覆盖率。

技术领域

本发明属于物联网技术领域，更具体地，涉及一种基于强化学习的物联网覆盖漏洞修复方法。

背景技术

物联网覆盖是物联网技术发展的核心技术问题，是物联网能够满足实时准确收集监控目标信息的基本要求。受能源消耗、环境因素、软件缺陷和其他因素造成的覆盖漏洞会大大降低物联网覆盖率，影响网络的安全性和可靠性。物联网覆盖漏洞修复的任务是对突然出现的覆盖漏洞进行快速识别，并在尽可能低的能量消耗下以最快的速度修复漏洞，满足覆盖要求。因此，对联网的覆盖漏洞进行实时、有效的修复尤为重要。

物联网覆盖漏洞修复的难点主要体现在三个方面。其一，网络覆盖模型对于不同实际场景覆盖刻画和定义的差异，模型的选择将直接影响修复方法与实际应用场景的适用度；其二，为漏洞选择合适的传感器修复节点，使其能够在最短的时间内到达修复位置，以保障修复时效和降低修复能耗；其三，传感器节点在进行漏洞修复时，需要选择有效的运动方向和路径，避免不必要的运动轨迹，以节约传感器节点能量。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于强化学习的物联网覆盖漏洞修复方法，其目的在于对物联网网络中出现的覆盖漏洞进行快速有效修复。该漏洞修复方法通过可信信息覆盖模型对传感器覆盖范围进行定义，充分发挥漏洞重建点的空间相关性，采用漏洞重建点与可移动节点间最小最短坐标距离双向选择法确定漏洞区域的指向性修复节点，并基于强化学习的方法利用奖励机制指导指向性修复节点的移动，节约能耗和修复时长，由此解决物联网覆盖漏洞修复的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于强化学习的物联网覆盖漏洞修复方法，包括以下步骤：

(1)根据目标区域监测覆盖需求，建立网络模型；

(1.1)根据检测目标的空间相关性，设定变程和估计均方根误差阈值，并对目标覆盖区域按照变程进行区域子网格划分；

(1.2)根据传感器节点分布，记录传感器节点编号i，根据划分的覆盖子网格，以子网格中心点为重建点，表示为p；

(2)通过可信信息覆盖模型建立网络覆盖模型，计算覆盖率；

(3)采用漏洞重建点与可移动节点最小最短坐标距离双向选择法确定漏洞区域的指向性修复节点；

(4)采用Q-Learning方法，对指向性修复节点M-node进行训练，对漏洞子网格进行修复，直到覆盖率满足要求或迭代次数达到设定上限。

本发明的一个实施例中，所述步骤(2)具体包括如下子步骤：

(2.1)在可信信息覆盖模型中，对于未被采样的空间点，采用普通克里金插值函数来计算重建点环境变量的估计值，即采用重建邻域Z(p)内的传感器节点τ_i的测量值的加权平均来计算环境变量估计值；邻域内传感器节点的插值权重系数λ_i满足n为重建邻域Z(p)内的传感器节点τ_i的数量；

(2.2)结合普通克里金插值函数计算重建点p的均方根误差Φ(p)，计算表达式为：其中和μ(p)通过步骤(2.1.1)和(2.1.2)求解；