[发明专利]一种基于改进Q-learning算法的无人机航路规划方法

权利要求书

1.一种基于改进Q-learning算法的无人机航路规划方法，其特征在于，包括以下步骤：

S1：利用仿真环境训练无人机以获取先验知识，形成先验知识列表；

S2：在未知的环境中，设立无人机的起始点和终止点，利用步骤S1获取的先验知识引导无人机进行探索；

S3：判断每个位置的动作值函数是否收敛，若收敛，计算该位置的动作值函数，并停止更新该位置的动作值函数；若不收敛，更新该位置的动作值函数；

S4：判断是否所有位置的动作值函数都已收敛，若收敛，结束探索过程，根据动作值函数确定出最优航路方案；若不收敛，则无人机继续从起始点开始探索，进行下一次迭代，重复执行步骤S2和步骤S3，直到所有位置的动作值函数全部收敛；

所述步骤S1的具体步骤为：

S1-1:以无人机为中心的八个象限表示目标点与无人机的相对方向，采用列表的方式存储先验知识，先验知识列表中的状态能映射Q值列表中的所有位置；

S1-2:除了目标点和无人机的相对方向，将无人机周围六个飞行方向上的障碍物有无状态也作为先验知识列表中的索引条件，先验知识列表中每个状态的存储形式为(ts′₁,ts′₂,ts′₃,ts′₄,ts′₅,ts′₆,qt,a₁,a₂,a₃,a₄,a₅,a₆,)，

其中，ts′₁至ts′₆表示以无人机为中心的六个飞行方向的障碍物有无状态，假如有障碍物则为1，没有障碍物则为0，qt表示目标点相较无人机的位置象限，a₁至a₆表示六个飞行方向上训练得到的先验动作值函数，先验知识列表用512个状态表示Q值列表中所有位置；

S1-3：训练先验知识的过程中，无人机观察其所在的位置，根据其周围六个飞行方向的障碍物有无状态以及目标点的位置象限，将所在位置归类为先验知识列表中的某一状态，将其执行某一动作后的动作值函数作为先验知识相应状态相同动作的动作值函数进行累加存储，并记录该动作被执行的次数；训练过程中，设置不同的起始点和目标点，使无人机得到充分训练；训练结束后，将先验知识列表中各个状态各动作的动作值函数的平均值视为训练得到的先验动作值函数，所有的先验动作值函数构成了先验知识列表。

2.根据权利要求1所述的一种基于改进Q-learning算法的无人机航路规划方法，其特征在于，所述步骤S2的具体方法为，对于无人机所在位置，观察围绕它的六个方向的有无障碍物状态和目标点的位置象限，并且检索先验知识列表以获得相应位置的先验动作值函数，结合ε-greedy策略和Softmax算法进行探索动作的选取，ε-greedy策略使得接近目标点的三个动作被选择的概率更大，Softmax算法使得基于先验知识的最佳动作被选择的概率最大。

3.根据权利要求1所述的一种基于改进Q-learning算法的无人机航路规划方法，其特征在于，所述步骤S3的具体方法为：无人机不断地从起始点到终止点进行迭代运算的每次迭代过程中，

当时，根据公式更新动作值函数其中，是在执行(s,a)动作第t+1次时获得的动作值函数，是在执行(s,a)动作第t次时获得的动作值函数，ε₁＝1是收敛误差参数，α为学习率，r为无人机在位置s处执行动作a所得到的奖励值，s′为无人机在位置s处执行动作a后到达的位置，γ为折扣因子，为无人机在位置s执行动作a的动作值函数，为无人机在位置s′执行动作a′的动作值函数，无人机只有当下次访问该位置时才会更新s的动作值函数；

若满足时，通过更新状态动作值函数，并停止更新该位置的动作值函数，其中，是第k次执行(s,a)动作获得的动作值函数，是收敛后的固定的动作值函数，正整数m用于记录无人机达到位置s处执行动作a的总次数，U(s,a)为达到位置s处执行动作a累计m次后的值。