[发明专利]一种基于深度增强学习的空间非合作目标捕获方法

说明书

本发明公开了一种基于深度增强学习的空间非合作目标捕获方法，分两步完成并实现交互。第一步，利用三维可视化软件搭建服务飞行器和目标飞行器的三维可视化环境，可视化环境的输入是服务飞行器的控制力和控制力矩，输出是服务飞行器和目标飞行器的状态。第二步，构建卷积神经网络模型，在三维可视化环境中对服务飞行器进行智能自主空间非合作目标捕获训练。卷积神经网络模型以服务飞行器和目标飞行器的状态为输入，利用其权重参数，输出控制服务飞行器所需的控制力和控制力矩并送入可视化环境中，两个飞行器的状态继续被输入神经网络以进行持续的深度增强训练。通过可视化环境和神经网络的不断交互，捕获反馈结果得以正确输出。

技术领域

本发明属于航空航天技术领域，具体涉及一种基于深度增强学习的空间非合作目标捕获方法。

背景技术

非合作目标是指不为对接或捕获设计的航天器，如己方未装置合作部件的卫星、空间碎片等以及对方航天器，其在信息层面上不沟通、机动行为上不配合，其捕获极具挑战性。许多空间军事任务如破坏敌方空间飞行器、对未成功进入预定轨道的卫星进行辅助入轨等都需要先完成非合作目标的在轨捕获。

从目前的发展情况来看，对空间合作目标的捕获技术已相对成熟，并成功应用于在轨服务中，然而，对空间非合作目标捕获仍是一个世界性难题，还没有进行过在轨演示验证。空间非合作目标捕获的一般过程为服务飞行器接收人工指令，然后进入转移轨道，向目标机动。现有系统提出的引导与控制手段基本相似，主要是通过计算机视觉系统从多个角度对目标拍照，计算相对位姿信息，实现围绕目标绕飞消旋，以及进一步的捕获。但这些手段都存在一定局限性：要么目标模型已知；要么需地面进行图像处理，再上传数据至星上，存在一定的时延，可靠性受影响；要么只能针对某一类特定目标，都存在局限性。因此，目前对空间非合作目标的捕获，迫切地需要一种高可靠、高自主的具备高度智能化程度的引导与控制技术。

发明内容

为了解决上述问题，本发明提供了一种基于深度增强学习的空间非合作目标捕获方法，针对基于视觉的空间非合作目标捕获问题，研究在多摄像头获取的视觉信息的基础上，基于卷积神经网络模型和DQN(Deep Q-Learning)的智能自主捕获方法。突破现有方法只能针对已知的特定目标的局限。使空间服务飞行器可利用视觉信息，智能自主学习，不断提升自身的智能化程度，自动地捕获目标。

为达到上述目的，本发明所述一种基于深度增强学习的空间非合作目标捕获方法包括以下步骤：第一步，搭建三维可视化环境：利用可视化软件搭建服务飞行器和目标飞行器的三维可视化环境，三维可视化环境的输入是服务飞行器的控制力和控制力矩，输出是服务飞行器和目标飞行器的状态，状态包括位置、线速度和姿态角速度；

第二步，构建卷积神经网络模型:卷积神经网络模型以服务飞行器和目标飞行器的状态作为输入，以控制服务飞行器所需的控制力和控制力矩为输出；以完成轨道近距离跟踪，绕飞消旋和姿态控制为任务，离散化卷积神经网络模型输出的控制力和控制力矩，构建分段加权奖励函数；

第三步，卷积神经网络模型训练:利用DQN算法在三维可视化环境中对服务飞行器进行空间非合作目标捕获训练，利用卷积神经网络模型输出控制力和控制力矩并将其送入可视化环境中，环境输出的两个飞行器状态又继续被输入到神经网络模型中，通过三维可视化环境和卷积神经网络模型的不断交互，通过神经网络持续的自我学习，不断更新卷积神经网络模型的权重参数，直至获得正确的捕获反馈结果；

第四步，完成非合作目标捕获任务:利用训练好的卷积神经网络模型对服务飞行器实施控制，从而对目标飞行器实现轨道近距离跟踪，绕飞消旋和组合体的姿态控制。