[发明专利]一种基于强化学习的火箭着陆实时鲁棒制导方法及系统

说明书

本发明提供了一种基于强化学习的火箭着陆实时鲁棒制导方法及系统，通过根据火箭地球着陆动力下降段飞行的所受作用力构建火箭三自由度运动模型，并根据火箭三自由度运动模型构建火箭着陆马尔科夫决策过程模型，以及在根据火箭着陆马尔科夫决策过程模型构建智能代理Agent后，将智能代理Agent与预先构建的火箭着陆飞行仿真环境进行交互仿真训练得到着陆控制Agent，并根据由着陆控制Agent生成的实时控制指令引导火箭着陆飞行的方法，不仅具有极高的实时性，而且算法鲁棒性极强，能够适应比较广泛的建模偏差，在环境存在不确定干扰的工况下仍然能够引导火箭进行高精度定点软着陆，具有较高的应用价值。

技术领域

本发明涉及垂直起降火箭地球着陆制导技术领域，特别是涉及一种基于强化学习的火箭着陆实时鲁棒制导方法及系统。

背景技术

垂直起降可重复使用运载火箭是一种新型运载火箭，是降低航天运载任务成本、提升进入空间效率的有效工具。火箭子级地球着陆制导是指在火箭返回地球着陆质心三自由度飞行过程中对运载火箭质心位置和速度的控制，即根据某种原则或策略，生成导引火箭质心运动的指令，使运动过程满足约束条件、使终端状态满足预定目标，以保证运载火箭回收精度、减少燃料消耗以及实现可靠重复使用的关键技术。

现有的火箭子级地球着陆制导方法主要包括通过建立目标火箭动力学模型以及相应的轨迹优化问题模型，采用间接法或者直接法在线求解最优飞行轨迹的在线轨迹优化制导方法，以及采用“离线训练+在线应用”的策略的深度学习制导方法。虽然现有的制导方法具有一定的实时性和最优性，能够在一定程度上实现运载火箭的回收使用，但是这些方法均是基于模型的制导方法，其算法效率以及求解结果的可用性严重依赖于建模的精度和准确性，鲁棒性较差，一旦环境中存在不可建模的未知因素或者模型存在偏差和不确定性干扰，算法性能以及求解结果的可用性就会受到严重影响，进而导致制导失效。

发明内容

本发明的目的是提供一种基于强化学习的火箭着陆实时鲁棒制导方法，通过基于火箭地球着陆动力下降段飞行的受力分析构建火箭三自由度运动模型，结合凝视启发思想构建火箭着陆马尔科夫决策过程模型，并采用基于值函数神经网络和策略神经网络的智能代理Agent与火箭着陆飞行仿真环境进行交互仿真训练，得到用于生成火箭着陆制导控制策略的着陆控制Agent，以及根据火箭着陆制导控制策略生成实时控制指令，引导火箭着陆飞行的方法，有效解决现有火箭子级地球着陆制导方法应用缺陷的基础上，不仅能有效应对火箭子级返回着陆飞行中火箭动力学模型存在较大偏差的工况，对存在的环境干扰具有较强的鲁棒性，而且具有较高的实时性，能够在存在复杂不确定性工况下引导火箭子级进行高精度定点软着陆。

为了实现上述目的，有必要针对上述技术问题，提供了一种基于强化学习的火箭着陆实时鲁棒制导方法及系统。

第一方面，本发明实施例提供了一种基于强化学习的火箭着陆实时鲁棒制导方法，所述方法包括以下步骤：

根据火箭地球着陆动力下降段飞行的所受作用力，构建火箭三自由度运动模型；

根据所述火箭三自由度运动模型，构建火箭着陆马尔科夫决策过程模型；

根据所述火箭着陆马尔科夫决策过程模型，构建智能代理Agent，并将所述智能代理Agent与预先构建的火箭着陆飞行仿真环境进行交互训练，得到着陆控制Agent；所述智能代理Agent包括基于值函数神经网络和基于策略神经网络；

根据所述着陆控制Agent生成实时控制指令，并根据所述实时控制指令引导火箭着陆飞行。

进一步地，所述根据火箭地球着陆动力下降段飞行的所受作用力，构建火箭三自由度运动模型的步骤包括：

以火箭子级目标着陆点为原点，建立着陆点坐标系；所述着陆点坐标系为以火箭子级降落的目标着陆点为坐标原点O，以地心竖直向上方向为坐标轴Oz，以着陆时火箭的主要飞行方向为坐标轴Ox，以与平面xOz平面垂直且与坐标轴Ox和坐标轴Oz构成右手直角坐标系的方向为坐标轴Oy的坐标系；