[发明专利]基于改进的MADDPG算法的护林员巡护路径规划方法和装置

说明书

本发明公开了一种基于改进的MADDPG算法的护林员巡护路径规划方法和装置，在原MADDPG算法的基础上，修改演员网络输出层的激活函数及该网络的损失函数，并修改评论家网络的网络结构，添加门控循环单元(gated recurrent unit，GRU)，使改进后的MADDPG算法适用于巡护路径规划问题，再通过栅格图法创建模拟环境，设计合适的动作和状态空间，依照相关的影响因素设置稀疏的奖励函数并塑形，最后，在模拟环境中完成多条路径规划。该路径规划方法和装置更加合理、可行、灵活，且能有效得到最优巡护路径。

技术领域

本发明属于林业保护领域，具体涉及一种基于改进的多智能体深度确定策略梯度(Multi-Agent Deep Deterministic Policy Gradient，MADDPG)算法的护林员巡护路径规划方法和装置。

背景技术

护林员是对其巡护区域内林业资源进行保护管理的劳务人员。长期以来，护林员在林业保护方面发挥了重要作用，为森林保护构建了一层坚固的屏障。根据各地现行的护林员管理办法以及相关数据可知现有的护林员巡护区域和路径规划方法存在许多问题。例如，护林员的巡护区域是以行政镇或行政村为单位的简单划分，未考虑巡护区域的面积大小、珍稀资源点和重要事件上报点分布情况等，使得护林员的工作量和重要巡护点覆盖率不平衡。另外，巡护路径未统一规划，护林员没有明确的巡护目标与巡护重点，会出现少巡护、绕远路、走回头路等情况。上述问题将导致护林员工作效率低、巡护情况差、浪费人力物力等。

路径规划可分为传统路径规划方法、智能路径规划方法和基于强化学习的路径规划方法。智能的路径规划方法，如文献提出的一种基于多态蚁群算法的智能轮椅路径规划方法，用于搜寻最短的智能轮椅行驶路径，在关于起始点与目标点之间寻求最短路径的研究已非常完善，但是如何在复杂环境和变数较多的问题中求解最优路径仍然是个难点。

基于强化学习的路径规划方法可以分为两类：单智能体和多智能体。虽然基于单智能体强化学习算法的路径规划方法，如文献(彭理群,罗明波,卢赫,柏跃龙.基于Q-learning的定制公交跨区域路径规划研究[J].交通运输系统工程与信息,2020,20(01):104-110)提出一种通过综合路段拥堵状态、乘客数量及居民小区位置为奖惩函数的单智能体Q-learning强化学习方法，以规划定制公交跨区域的最优路径，可以求解最短路径且在复杂环境和多因素路径规划问题中也有良好的表现，但是该方法一次仅能生成单条路径，无法在特定区域内生成多条路径最优组合，灵活性较低。

相比传统的、智能的及基于单智能体强化学习的路径规划方法，采用多智能体强化学习的方法更加适用于解决护林员巡护路径规划问题。因为护林员巡护路径规划问题不仅涉及多因素，如路径长度、障碍物、珍稀资源点、上报事件点、坡度等，而且需在巡护区域内规划多条路径，以供一位或多位护林员在一定周期内进行巡护。

发明内容

鉴于上述，本发明的目的是提供一种基于改进的MADDPG算法的护林员巡护路径规划方法和装置，以实现对巡护区域和巡护路径的公平且合理规划，以提升护林员的工作效率。

第一方面，实施例提供的一种基于改进的MADDPG算法的护林员巡护路径规划方法，包括以下步骤：

将护林员巡护路径规划问题转化为MADDPG算法学习问题，并进行问题的转化定义，包括：对巡护区域进行栅格化，将每个栅格点的坐标及对应的栅格属性作为智能体所处的状态，定义智能体在栅格化巡护区域具有的总计动作以确定输出动作的维度，依据巡护区域的属性特征定义奖励函数；

依据护林员巡护路径规划问题特性对包含演员网络和评论家网络的MADDPG算法进行改进，包括：修改演员网络输出层的激活函数为适用于离散多分类的激活函数，依据演员网络的输出动作的最大概率、输出动作的选择概率和评论家网络输出的状态-动作值构建演员网络的损失函数；在评论家网络中添加门控循环单元；