[发明专利]一种基于目的地运动预测的飞行器引导迁移学习训练算法

说明书

本发明公开了一种基于目的地运动预测的飞行器引导迁移学习训练算法，包括下述步骤：首先设置飞行器的运动学和动力学模型，并训练固定目的地引导智能体B；然后，设置可移动目的地的移动模型，设置智能体选择因子及更新方法，初始化可移动目的地引导智能体A；之后，依据智能体选择因子，选择采用智能体A产生一个片段的数据，或采用智能体B通过目的地运动预测的方法更新一个片段的数据；最后，使用强化学习算法训练移动目的地引导智能体，引导飞行器沿着特定方向到达移动的目的地。本发明的方法可以应用在飞行器自动引导系统中，基于已有引导智能体，训练可应用在新场景中的新智能体，引导飞行器从任意姿态开始，沿着特定方向到达移动目的地。

技术领域

本发明涉及飞行器引导控制领域，特别涉及一种基于目的地运动预测的飞行器引导迁移学习训练算法。

背景技术

在诸多飞行任务中，需要引导飞行器沿着特定方向到达移动目的地。同样的飞行器在不同的任务中通常需要面对不同移动方式的目的地。如：飞行器降落在不同移动模式的航母上；飞行器在空中加油时达到加油占位；飞行器在空战中达到优势态势位置等。

强化学习执行效率高，使用灵活，在飞行器引导领域有许多研究。如引导小型无人机降落到移动车辆上，引导固定翼飞机沿跑道方向到达机场，引导舰载机到达航母进近点等。对于不同的目的地，移动方式不同，如果每种场景从头训练，一方面需要花费较多的时间，另一方面成功率也无法保证。强化学习与迁移学习结合后，可以用在飞行器引导任务中。对于一款飞行器，训练一个引导智能体，具备引导飞行器飞行至固定目的地的能力。以该智能体为基线智能体，对于新的引导任务，针对不同移动模式的目的地，通过预测目的地运动的方法，利用基线智能体产生的数据进行训练，可以提升智能体训练的速度和飞行器引导成功率。对于执行不同移动方式目的地的飞行引导任务具有实践意义。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出一种基于目的地运动预测的飞行器引导迁移学习训练算法，在基线智能体的基础上，采用目标运动预测的方法，训练飞行器引导智能体，引导飞行器沿着指定方向到达移动的目的地。

为实现以上目的，本发明采取如下技术方案：

一种基于目的地运动预测的飞行器引导迁移学习训练算法，包括下述步骤：

（1）设置飞行器的运动学和动力学模型，以固定目的地的飞行器引导环境为训练环境，使用强化学习算法训练基线智能体B，当前状态包括飞行器姿态和目的地姿态信息，当前状态下飞行器动作是对飞行器的引导指令；

（2）依据目的地运动特性，设置目的地的移动模型，构建目的地运动的飞行器引导训练环境，设置训练中的智能体选择因子p及该因子更新的方法，初始化引导智能体A，智能体A的输入输出与智能体B相同，开始智能体A的训练；

（3）以片段（episode）为单位，使用引导智能体A执行一个片段，对于片段内每个时间步长t，记录当前状态、当前状态下飞行器动作、奖励函数、下一时刻状态四个数据，按照四元组方式存储；

（4）生成[0,1]范围内的随机数，包含随机数小于智能体选择因子、随机数大于等于智能体选择因子两种情况，对于随机数小于智能体选择因子的情况，使用智能体B更新四元组，对于随机数大于等于智能体选择因子的情况不更新四元组；

（5）使用强化学习算法进行训练，更新智能体选择因子p。

作为优选的技术方案，步骤（4）中，对于更新四元组的情况，按照如下步骤进行更新：

从起始步长t=0开始，到终止步长t=T为止进行循环，对于循环中的每一个步长t=N，将t=0到t=N中的每一个四元组中中目的地姿态信息替换成t=N时刻四元组中的目的地姿态信息，形成新的记为；

从t=0开始到t=N截止，使用基线智能体B，以替换后的状态信息为输入，产生新的四元组，在该阶段任意时刻飞行器成功到达目的地，结束四元组更新过程；