[发明专利]一种多无人机移动基站协同部署及调度方法

说明书

本发明公开了一种多无人机移动基站协同部署及调度方法，基于深度强化学习，将网络服务区域均匀地划分为较小的网格和较大的区块，使用仿真软件获得区域的模拟吞吐量，在每个调度时间区间，使用基于深度强化学习的多无人机移动基站协同部署模块，找到能够提供较高吞吐量的区块的集合；使用基于深度强化学习的多无人机移动基站协同调度模块，规划无人机扫描能够提供较高吞吐量的区块的集合的路线，在无人机能量不足时及时充电；无人机在扫描完成后，在最高吞吐量的网格处悬停提供服务，直到这个调度时间区间结束；重复以上步骤，直到整个网络服务的任务完成。本发明以较少的执行时间达到较好的效果，最大限度地提供总服务时间及更好的工作负载平衡。

技术领域

本发明涉及无人机移动基站部署技术领域，尤其涉及一种基于深度强化学习的多无人机移动基站协同部署及调度方法。

背景技术

当前用于多无人机移动基站协同部署及调度的方法主要是启发式算法，基于经验制定算法规则，并根据当前状态做决策。这类方法存在三个方面的不足：1)对于无人机基站部署问题，启发式算法可以在小规模场景中取得较好的效果，随着应用场景规模的扩大、无人机数量的增加，时间复杂度会上升，导致算法执行时间过长；2)对于复杂的多无人机调度问题，影响因素很多，包括当前调度无人机的电量、其他无人机的状态、充电站的状态、未扫描区域的分布等，根据经验制定规则很难将因素考虑全面；3)启发式算法没有考虑长期影响，在大多数情况下决策结果与全局最优解差距较大。

针对以上问题，深度强化学习技术借助智能体和深度神经网络对环境进行探索和学习，从而输出策略，使用训练好的模型可以更高效地做决策，不需要人为地设计策略，并且通过设置奖励值、考虑长期回报优化长期决策任务，可以被用来更好地解决多无人机移动基站协同部署及调度问题。然而，由于无人机电量有限，执行长期任务时需要及时充电，但频繁的充电会影响无人机的服务时间从而影响无人机的服务质量，这一现实问题也被大多数研究方法忽略。因此，目前方法不能为多无人机移动基站协同部署及调度的问题提供高效可靠的解决方案。

发明内容

本发明针对上述问题，提出一种多无人机移动基站协同部署及调度方法，通过考虑环境中不同位置提供的吞吐量、无人机群的分布等影响因素，为无人机群确定提供高吞吐量的部署区域；通过考虑无人机的电量、位置、充电站的状态、未扫描区域的分布等影响因素，在保证无人机有足够电量执行任务的前提下，为无人机规划飞行路径，使无人机提供最长的总服务时间，最终实现优质的网络服务质量的目标。

为了实现上述目的，本发明提供如下技术方案：

一种多无人机移动基站协同部署及调度方法，将网络服务区域均匀地划分为10m×10m的网格和20m×20m的区块，即一个区块中包含4个网格，使用仿真软件获得区域的模拟吞吐量，包括以下步骤：

S1、在每个调度时间区间，使用基于深度强化学习的多无人机移动基站协同部署模块，找到提供有效吞吐量最高的前K个区块的集合，K为无人机的个数；

S2、使用基于深度强化学习的多无人机移动基站协同调度模块，规划无人机扫描能够提供有效吞吐量最高的前K个区块的集合的路线，并在无人机能量不足时及时充电；

S3、无人机在扫描完成后，在最高吞吐量的网格处悬停提供服务，直到这个调度时间区间结束；

S4、重复以上步骤，直到整个网络服务的任务完成。