[发明专利]一种基于分层深度强化学习的无人机采集路径规划方法

说明书

本发明提供了一种基于分层深度强化学习的无人机采集路径规划方法，首先对无人机数据采集场景中的通信模型、能耗模型进行建模；其次，考虑数据新鲜度的最大化和无人机的续航，将优化问题建模为一个半马尔科夫决策过程；最后，提出了一种基于分层深度强化学习的无人机路径规划方法，高层策略根据当前环境状态决定无人机在当前应该采集哪个传感设备的数据，低层策略根据当前状态和高层策略的目标来设计无人机的移动轨迹，无人机通过与环境的交互获得瞬时奖励，并基于这些信息进行训练。训练完成后，将策略网络部署到具有一定计算能力的无人机中，无人机可以进行实时的路径规划，执行长时间的数据采集任务，以提高整个任务执行期间的数据新鲜度。

技术领域

本发明涉及无线通信技术领域，特别涉及一种基于分层深度强化学习的无人机数据采集路径规划方法。

背景技术

近年来，随着科技的进步，无人机机型向着小型化、低成本的方向不断发展。凭借着易部署、可控制、移动性的优点，无人机尤其是可悬停的旋翼无人机被大量应用在民用和商用领域，比如目标跟踪与检测、物流、辅助通信等等。其中，无人机辅助无线通信是目前的一个新兴的研究热点。在无人机辅助无线通信中，无人机可以通过安装小型的通信设备，为地面用户提供通信服务、作为中继节点为距离较远的收发设备建立连接、或作为移动汇聚节点采集地面无线传感网络的数据。

本专利研究的场景就是无人机作为移动汇聚节点采集地面无线传感网络数据。无人机执行数据采集任务具有很大的优势。首先，大部分传感设备由于尺寸限制，资源是受限的，受能耗制约，很难支持长距离的通信，而多跳的通信方式会导致某些节点能耗耗尽，缩短无线传感网络的质量和寿命。无人机可以飞到传感设备上方进行数据采集任务，能够有效的缩短通信距离，且采取一跳的通信方式，能够有效减少无线传感网络的能耗，提高网络寿命。其次，相对于地面移动采集车，无人机能够飞到地形更加复杂的区域执行数据采集任务，且由于高度原因，更容易与地面设备建立高质量的视距链路。

现有的关于无人机数据采集的研究主要的优化目标是数据采集数量、数据采集所花费的时间、能耗等。近年来，随着边缘计算的发展，产生了越来越多的时间敏感型应用，这些应用对数据的新鲜度有很高的要求，数据越新鲜，这类应用的服务质量越高。比如智慧交通或智慧消防应用，所采集的数据越新鲜，控制中心所作出的决策就越准确。同时，无人机由于尺寸限制，也很难执行长时间的作业，因此在长时间任务中，需要考虑无人机的续航问题。

这种数据采集场景是一种动态的场景，数据新鲜度、用户的需求、传感器采样频率可能是不断变化的，因此需要一种能够进行实时决策的方法，根据每个时刻的系统状态，做出无人机路径规划决策，强化学习就是这样一种方法。但由于只有当无人机采集到数据时，才能获得较多的奖励，因此该场景还是一个延迟奖励和稀疏奖励的场景，用传统的强化学习解决这类问题通常无法收敛。本发明提出了一种基于分层深度强化学习的方法来进行无人机的采集-充电路径规划。

发明内容

本发明的目的是提出一种基于分层深度强化学习的无人机数据采集路径规划方法，来优化整个系统的数据新鲜度，同时保证无人机的续航。

为实现上述目的，本文发明了如下方案：

一种基于分层深度强化学习的无人机采集路径规划方法，步骤如下：

(1)根据实际需求对无人机数据采集场景进行建模