[发明专利]一种基于增强学习算法的移动Sink数据收集方法

说明书

技术领域

本发明属于无线传感器网络数据收集领域，尤其涉及一种基于增强学习算法的移动Sink数据收集方法。

背景技术

无线传感器网络是由部署在监测区域内大量的廉价微型传感器节点组成，通过无线通信方式形成的一个多跳自组织的网络系统，其目的是协作地感知、采集和处理网络覆盖区域中被感知对象的信息，并发送给观察者。

通常情况下，将传感器采集的数据传输给基站有两种方式：传感器之间多跳传输和采用移动数据收集器(简称移动Sink)。多跳传输即传感器节点监测的数据借助其他传感器节点逐跳地进行传输，在传输过程中监测数据可能被多个节点处理，经过多跳后最终路由转发到基站。采用移动Sink的方式即安排一个移动节点，按照规划好的路径或者在数据收集过程中动态的选择访问目标，移动到传感器节点附近，通过高带宽通信方式(如光波通信)收集传感器节点的数据，然后返回基站。在无线传感器网络数据收集方面，这两种数据收集方式各有利弊。在传感器多跳传输方式中，如果采集的数据量比较小，那么在带宽满足的情况下采集到的数据传输给基站的延时会很短，能够方便决策人员尽快地利用数据；但是如果数据量较大，同时由于传感器自身能量和带宽的限制，数据传输的效率就会很低，甚至在某些情况下可能会导致靠近基站的节点能量过快耗尽从而减少传感器网络的存活时间。移动Sink收集数据在一定程度上增大了数据收集延迟，但是可以避免某些传感器节点能量消耗过度而死亡的情况，从而有利于从整体上延长传感器网络的存活时间。此外，使用单跳的移动Sink收集数据会简化传感器节点的硬件设计和软件构造，减少整个网络的部署成本。

在通过移动Sink收集数据的无线传感网中，移动Sink的路径规划是影响数据收集性能的重要因素。在网络时延给定的前提下，如何有效地规划数据收集路径从而使得传感器数据能够实时、充分地传输到基站是设计无线传感器网络数据收集算法的关键。本发明提出了一种新的基于增强学习算法的Sink路径规划方法，能够有效地收集传感器数据。

发明内容

本发明所要解决的技术问题是针对背景技术的不足提供一种基于增强学习算法的移动Sink数据收集方法。

本发明为解决上述技术问题采用以下技术方案

一种基于增强学习算法的移动Sink数据收集方法，具体包含如下步骤：

步骤1：根据传感器节点的通信半径将监测区域划分成若干个正方形区域；

步骤2：移动Sink在内存中构建一个m行n列的动作价值评价矩阵Q，其中m为状态数，n为行为数；

步骤3：移动Sink以洪泛方式向邻近区域发送探测报文，请求查询邻近区域的数据价值；

步骤4：在各个邻近区域内，各传感器节点根据自身剩余能量由大到小排序选出簇头节点，将感知数据多跳传输给簇头节点，各个簇头节点根据价值公式计算出数据价值；

步骤5：各个簇头节点将数据价值回传给移动Sink；

步骤6：移动Sink在收到邻近状态的数据价值后，根据增强学习算法公式更新矩阵Q，然后计算出剩余时间所能够访问的邻近区域集合，最后根据ε-greedy策略，以ε概率选择矩阵Q中当前状态对应的一行中元素值最大的行为，以1-ε概率随机选择其他(n-1)种行为；

步骤7：当移动Sink到达一个新区域时，收集簇头节点所感知的数据；

步骤8：计算移动Sink的可用剩余时间，如果能够支持下一轮访问则转步骤3，否则移动Sink回到基站回收所收集的数据，并结束本轮数据收集过程。

作为本发明一种基于增强学习算法的移动Sink数据收集方法的进一步优选方案，在步骤1中，规划的区域是边长为的正方形区域，其中，R为传感器节点通信半径，并依次编号1，2，3，…，N，其中，N为区域数，且N＝m。

作为本发明一种基于增强学习算法的移动Sink数据收集方法的进一步优选方案，在步骤4中，价值公式为F_VOI(t)＝Ae^-Bt，其中A表示数据初始价值，B表示价值衰减速率，t表示数据从收集开始经过的时间。

作为本发明一种基于增强学习算法的移动Sink数据收集方法的进一步优选方案，在步骤2中，矩阵Q为动作价值评价矩阵。

作为本发明一种基于增强学习算法的移动Sink数据收集方法的进一步优选方案，在步骤6中，增强学习算法公式为