[发明专利]一种基于DRL的WSN中单对多移动能量补充方法

说明书

本发明涉及一种基于DRL的WSN中单对多移动能量补充方法，属于利用深度强化学习和无线充电技术延长无线传感器网络生存时长的研究领域。目前无线传感器网络工作仅仅考虑了基于深度强化学习的无线传感器网络中单对单的移动能量补充，而面对移动无线充电智能体的单对多充电尚未考虑。本发明通过利用了深度强化学习对于高维数据的适应性和单无线充电智能对多传感器节点充电的高充电效率优势，很好地适应了无线传感器网络中无线充电智能体的移动，充电时间和突发事件导致的高动态能量消耗特征，能够确保其能量供应，同时尽可能减少传感器节点的死亡，维护整个无线传感器网络的长期持续运行。

技术领域

本发明涉及一种基于DRL的WSN中单对多移动能量补充方法，属于利用深度强化学习和无线充电技术延长无线传感器网络生存时长的研究领域。

背景技术

无线传感器网络由随机部署到传感器节点、服务站、基站、移动无线充电智能体构成。其中，传感器节点是具有低成本、低功耗并具备感知、接收发送信息和无线通讯能力的优点，可以感知周围环境中的热、红外、火灾和地震等信号，可以探测环境的温度、湿度、噪声、光照强度以及土壤成分等。移动充电智能体有更强的通信和数据处理能力，同时还具有自主移动的能力，计算能力和通信能力，可以基于网络中所发生的事件做出决策并自主地完成任务。基站具有足够的能量和通信能力，与移动无线充电智能体和传感器节点直接进行消息数据的传输。无线传感器网络具有自组织性，动态性优点，目前在军事，工业，环境监测和医疗卫生方面有很好的使用前景，已经引起了国家、科学界和工业界的广泛关注和重视。

无线传感器网络的主要目标是感知环境并提高通信实时性，通过传感器节点之间的网络可以及时地传递消息，达到通信的实时性。传感器节点还可以对事件快速做出反应，如火灾、龙卷风、地震等事件可以及时得到处理，可以将灾难发生造成的损失降到最低，维护和保护国家的财产和人民的生命财产安全。因此实时性尤为重要。

LiguangXie等人于2015年在IEEE TRANSACTIONS ON NETWORKING发表的“Multi-Node Wireless Energy Charging in Sensor Networks”首先基于传统方法实现在无线传感器网络中单对多的移动能量补充。文中利用多节点无线能量传输技术的最新进展，为无线传感器网络中传感器节点的电池充电。文中的方法是开发一个形式化的优化方法，通过联合优化每个六边形区域的移动路径、流量路由和充电时间。通过采用离散化和一种新的公式线性化技术，研究了一个可证明的近似最优解以达到任意期望的精度水平。利用数值结果，文中展示了多节点无线能量传输技术的优势，并说明了它如何解决密集无线传感器网络中的充电可扩展性问题。

从出版的文献中，尚无利用深度强化学习算法和单对多的无线充电技术来解决无线传感器网络的能量短缺问题。现有的利用深度强化学习来解决无线传感其网络能量短缺问题都是针对单对单充电，或者多对单充电，因此这些方案无法有效的发挥无线充电技术中的单对多充电的高效率优势，同时也无法解决密集无线传感器网络中充电可扩展性问题。

发明内容

本发明要解决的技术问题是提供一种基于DRL的WSN中单对多移动能量补充方法，提出一种OTMDRL高效移动能量补充方法，与简单的设置更高的充电优先级不同，OTMDRL是计算每个传感器节点的阈值，然后基于传感器阈值确定六边形区域是否发送充电请求，最后通过深度强化学习算法确定充电六边形区域。本发明特别考虑了网络中的移动无线充电智能体的能量问题，通过确保移动无线充电智能能量是否充足的步骤来确保无线充电智能体能量供应。通过在网络中合理的使用移动无线充电智能体和深度强化学习算法来提高整个无线传感器网络的生存寿命。本发明中的MC为移动无线充电智能体。

本发明采用的技术方案是：基于深度强化学习的无线传感器网络中单对多移动能量补充方法，步骤如下：