[发明专利]一种基于DDPG多目标三维无人机路径规划方法

权利要求书

1.一种基于DDPG多目标三维无人机路径规划方法，其特征在于：该方法包括以下步骤：

步骤1、建立无人机路径规划系统模型

在三维坐标系中对环境建模，将UAV及用户(UE)等效为粒子，地面建模为OXY平面，Z轴满足右手法则，则UAV飞行的动力学模型可建模为：

其中，(x_U,y_U,z_U)为无人机的三维位置坐标，v为UAV的速度，b为UAV的加速度，α为UAV的俯仰角，β为UAV的偏航角，ρ_α、ρ_β为相应的UAV的角速度，表示对X求导；

步骤2、无人机任务建模与分析，包括以下步骤：

步骤2.1、任务建模

对UAV飞行距离及飞行的俯仰角α与偏航角β建模，则UAV在t时刻还需飞行的距离及相对于目标点的俯仰角α^t与偏航角β^t为：

其中，为t时刻UAV的三维位置坐标，为UEP_n的位置坐标；

步骤2.2、成本函数

基于优化目标，则成本函数F为：

其中，T_total为UAV从起始位置到目标位置的飞行总时间，E_total为UAV从起始位置到目标位置的飞行总能耗，σ_P、σ_O分别为UAV与目标位置及障碍物的偏离度；

步骤3、基于DDPG的无人机路径规划设计

结合成本函数，设计状态空间、动作空间以及奖赏值。

2.根据权利要求1所述的一种基于DDPG多目标三维无人机路径规划方法，其特征在于：所述UAV三维路径规划系统具有1个UAV以及随机分布的N个用户UEs和M个障碍物OBs，当UE有数据传输请求时，会向全网广播其位置信息，而位于UAV通信范围内的UE则会将其获得的具有数据传输请求的UE位置信息传递给UAV，UAV获得数据请求信息后，利用深度确定性算法规划路径、规避障碍，向目标UE移动并为其提供服务，UAV服务完毕后，若无新的UE数据上传请求，UAV将悬停在此处，等待新的目标UE。

3.根据权利要求1所述的一种基于DDPG多目标三维无人机路径规划方法，其特征在于：提出三维偏离度来表示无人机与障碍物及目标用户的相对位置，UAV在接收到P_n的位置信息后，在向P_n飞行的过程中，需要避开障碍，尽可能到达P_n上方接收数据，因此，引入偏离向量σ_O＝(σ_ox,σ_oy)辅助判断UAV与障碍物是否碰撞：

其中，为障碍物O_m的中心坐标，为UAV在t时刻的位置坐标，σ_ox、σ_oy分别为x方向和y方向的偏离度；

为避免UAV与障碍物的碰撞，偏离向量σ_o＝(σ_Ox,σ_Oy)需满足以下约束条件：

·如果则：

·如果则：

·如果则：

无约束 (3)

以上0ε1，为障碍物O_m的高度，h_min、h_max为UAV飞行的最小及最大高度，r_U为UAV半径，为障碍物O_m的半径；

对于UAV悬停位置的判断，引入目标偏离向量σ_P＝(σ_Px,σ_Py)，则：

其中，为UEP_n的位置坐标，σ_Px、σ_Py分别为无人机相对于目标位置在x方向和y方向的偏离；

当UAV到达目标UE附近，为提高数据传输效率，则存在极小值∈(0∈1)，使得UAV悬停位置满足以下约束条件：

σ_Px∈

σ_Py∈。