[发明专利]基于改进Q学习算法的物联网错误传感器节点定位方法

权利要求书

1.基于改进Q学习算法的物联网错误传感器节点定位方法，其特征在于，其步骤包括：

（a）、将物联网传感器节点抽象成具有一定属性的自治Agent,包括汇聚节点和源节点；使强化学习与Agent概念相结合；

（b）、源节点与汇聚节点通过有线或者无线的方式与具有较好计算能力的后台服务器相连,汇聚节点以一定的周期向邻居节点广播学习评估消息，启动路径评估过程；学习评估消息中包含Agent的回报值、Q评估值及能量信息；初始化Q学习算法的参数包括学习速率、折扣因子、Q值；

（c）、将目标任务进行划分为多个子任务，即能耗最少，路径最优，跳数最少；不同的子任务得到环境不同的奖赏值，通过加权求和定义奖赏函数R′，即环境的回报值；

（d）、各个Agent通过感知模块获得当前状态s的能量信息，并根据动作选择策略选择当前状态s下的最优动作；动作选择策略采用Boltzmann动作选择策略，通过策略执行动作到达新的状态s＇，同时从环境得到环境的回报值R′;Agent需要反复尝试每个状态动作对以获得每个状态动作对的最优Q值；

（e）、根据改进Q学习算法中的Q值计算公式进行Q值的计算与更新;

（f）、汇集节点不断向邻居节点广播学习评估消息，邻居节点根据动作选择策略向下一个节点广播学习评估消息直到抵达源节点,一次学习过程结束，更新Q值后进入下一个学习过程，直到Q值收敛，得到最优决策；从各个汇聚节点到源节点的各传感器节点的Q值就逐步的迭代出来，记录最大Q值和最大Q值所对应的最佳动作;Q值随节点剩余能量，路由选择，传输跳数而自适应变化，从而在后台服务器中计算出各传感器节点相对源节点的网络拓扑结构；

（g）、当下一周期计算得到的Q值与当前的Q值出现较大偏差时，对该传感器节点的路由选择，能量消耗等特征信息进行考察，根据Q值和网络拓扑结构对错误传感器节点进行定位；同时，在强化学习过程中，Agent在一定时间 内没有收到邻居节点的环境反馈值时，判定该邻居节点为错误节点。

2.根据权利要求1所述的基于改进Q学习算法的物联网错误传感器节点定位方法，其特征在于：在所述步骤（a）中，将人工智能领域中的Agent技术应用到无线传感网络中，并将每个Agent赋予一定的属性。

3.根据权利要求1所述的基于改进Q学习算法的物联网错误传感器节点定位方法，其特征在于：在所述步骤（c）中，上述奖赏函数R′计算方式如下：

提取特征值，设能耗特征值为n_能耗,路径特征值为n_路径,跳数特征值为n_跳数,对不同子任务设定不同的权重w_能耗,w_路径,w_跳数，则定义目标任务的奖赏函数为：

。

4.根据权利要求1所述的基于改进Q学习算法的物联网错误传感器节点定位方法，其特征在于：在步骤（d）中，所述Boltzmann动作选择策略公式为：

其中Q为行为的值函数,根据可以看出，行为的选择取决于该状态-行为对的Q值函数和参数τ，其中τ是一个正的参数，称为退火温度参数，用来控制搜索率。

5.根据权利要求4所述的基于改进Q学习算法的物联网错误传感器节点定位方法，其特征在于：在所述步骤（e）中，改进Q学习算法中的Q值计算公式为可迭代计算的Q函数：

对公式（3）中的奖赏函数r_t+1进行改进，将学习任务分为i个子任务，即能耗，跳数，路由子任务，更新公式（3）得：

其中α∈(0,1)是学习速率，γ∈(0,1)是折扣系数，A(s_t+1)是状态s_t+1对应的动作集；Agent在状态s_t采用动作a_t，将会使状态变为s_t+1，同时收到奖赏函数R；为了获得每个状态动作对的最优Q值，Agent需要反复尝试每个状态动作对，从而达到能量，路由，跳数之间的最优平衡。

6.根据权利要求5所述的基于改进Q学习算法的物联网错误传感器节点定位方法，其特征在于：上述公式（2）选择状态S下的最佳动作，得到下一时刻状态，并获得从环境得到的反馈值R，利用Q值更新公式（4）不断对Q值进行更新，最终得到最优路径，从而在后台服务器计算出相对源节点的网络拓扑图。