[发明专利]一种基于多智能体深度强化学习的协作充电规划方法

说明书

本发明公开了一种基于多智能体深度强化学习的协作充电规划方法，属于无线可充电传感器网络(WRSN)领域。在大规模或密集型WRSN中使用多个移动充电器(MC)可避免对传感器节点充电不及时造成的节点能量耗尽。由于节点不均匀分散分布且充电时间不同，多MC需异步充电，故以往多智能体深度强化学习算法难以用于多MC协同充电的场景。本发明基于多智能体深度强化学习优化WRSN中多MC协作调度问题，即提出一种多MC异步充电的框架，并使用协作通信单元为每个决策智能体动态地提取其他智能体信息。本发明旨在使多MC可以更好的协作，从而在保证最小死亡节点数的前提下，使各个MC的移动路径长度最短，最大化多MC的充电效用。

技术领域

本发明涉及无线可充电传感器网络领域，具体涉及一种基于多智能体深度强化学习的协作充电规划方法(MACC)。

背景技术

能量约束问题一直是限制无线传感器网络发展的重要因素之一。无线可充电传感器网络(Wireless Rechargeable Sensor Network,WRSN)是一种在受能量约束的无线传感器网络中部署移动充电器(Mobile Charger,MC)为传感器充电的无线传感器网络。如今，WRSN已广泛应用于军事、农业生产、森林防火、生态监测等多个领域。而有效地规划MC的充电路径进而延长WRSN的生存时间成为了WRSN的关键性研究问题。

在大规模或密集型无线可充电传感器网络中使用多个MC可以尽可能避免由于对传感器节点充电不及时造成的传感器节点能量耗尽。仅使用单智能体深度强化学习方法难以满足多MC协作的需求。而由于每个传感器节点不均匀分散分布且充电所需的时间不同，多MC需执行异步充电，所以以往多智能体深度强化学习算法的结构难以适用于多MC协同充电的场景。针对上述问题，研究可满足多MC异步协作的多智能体深度强化学习协作充电规划方法，可以大大提高多MC的充电效率。

Meiyi Yang等学者于2020年在IEEE Internet Of Things Journal发表的“Dynamic Charging Scheme Problem With Actor-Critic Reinforcement Learning”提出了基于行动者-评论家强化学习(ACRL)算法的WRSN新型动态充电方案(DCS)。方法利用单智能体深度强化学习为一个MC动态的选择充电节点，并在节点平均寿命和MC移动路径长度方面的效果优于传统启发式方法。但一个MC无法满足大规模或密集型无线可充电传感器网络的充电需求。

Yuxin Chen等学者于2021年在IEEE International Conference on Sensing,Communication,and Networking发表的“VarLenMARL:A Framework of Variable-LengthTime-Step Multi-Agent Reinforcement Learning for Cooperative Charging inSensor Networks”提出了一个新的多智能体深度强化学习框架，称为VarLenMARL。VarLenMARL中的训练样本收集机制使用其他MC旧的信息为决策MC进行动作决策，从而允许每个MC在估计奖励之前在可变长度的时间步完成一个动作。这解决了多MC需执行异步充电的问题。但导致如下问题：决策智能体必须花费更多的时间才能从训练样本中找到有用的信息。智能体正常训练过程受到这些旧数据的干扰，变得不稳定。