[发明专利]一种基于深度增强学习的空间非合作目标捕获方法

权利要求书

1.一种基于深度增强学习的空间非合作目标捕获方法，其特征在于，包括以下步骤：

第一步，搭建三维可视化环境：利用可视化软件搭建服务飞行器和目标飞行器的三维可视化环境，三维可视化环境的输入是服务飞行器的控制力和控制力矩，输出是服务飞行器和目标飞行器的状态，状态包括位置、线速度和姿态角速度；

第二步，构建卷积神经网络模型:卷积神经网络模型以服务飞行器和目标飞行器的状态作为输入，以控制服务飞行器所需的控制力和控制力矩为输出；以完成轨道近距离跟踪，绕飞消旋和姿态控制为任务，离散化卷积神经网络模型输出的控制力和控制力矩，构建分段加权奖励函数；

第三步，卷积神经网络模型训练:利用DQN算法在三维可视化环境中对服务飞行器进行空间非合作目标捕获训练，利用卷积神经网络模型输出控制力和控制力矩并将其送入可视化环境中，环境输出的两个飞行器状态又继续被输入到神经网络模型中，通过三维可视化环境和卷积神经网络模型的不断交互，通过神经网络持续的自我学习，不断更新卷积神经网络模型的权重参数，直至获得正确的捕获反馈结果；

第四步，完成非合作目标捕获任务:利用训练好的卷积神经网络模型对服务飞行器实施控制，从而对目标飞行器实现轨道近距离跟踪，绕飞消旋和组合体的姿态控制；

在DQN算法中，建立一个卷积神经网络模型作为智能体，以服务飞行器和目标飞行器的状态作为输入，输出服务飞行器的控制力和控制力矩，卷积神经网络模型的输入层有36个节点，对应于环境传回的连续两帧三维图像中服务飞行器和目标飞行器各自的位置、线速度和姿态角速度的36维表示；输出层共有13个节点，对应于服务飞行器的控制力和控制力矩被离散化后的13类取值方式；在每个时间步骤，决策被发送回空间三维可视化环境，并从空间三维可视化环境中继续输出目标飞行器和服务飞行器的状态供给卷积神经网络模型以进行连续的深度增强训练，最终达到不断更新卷积神经网络模型的模型参数，正确输出捕获反馈结果的目的。

2.根据权利要求1所述的一种基于深度增强学习的空间非合作目标捕获方法，其特征在于，第一步中，搭建三维可视化环境包括以下步骤：

Step1：初始化服务飞行器和目标飞行器的位置线速度姿态角速度ω₀及姿态四元数Q₀；

Step2：卷积神经网络模型给出施加于服务飞行器上的控制力F和控制力矩T，F＝[F_x,F_y,F_z]^T,T＝[T_x,T_y,T_z]^T而目标飞行器由于仅在重力作用下绕地球自由移动，F和T为零；

Step3：依次对式(1)～(3)积分，求解两类飞行器的位置r_i、线速度v_i、姿态角速度ω_i及姿态四元数Q_i，循环输出两类飞行器的位姿(r,v,ω,Q)；

公式(1)中，为飞行器在轨道坐标系下的位置，为飞行器的线速度，是的一阶导数，

F＝[F_x,F_y,F_z]^T是接受控制的飞行器发动机产生的控制力，μ为地球引力常数3.986e5km³/s²，R_E为地球赤道半径，J₂＝1.0826e-3为地球摄动带谐系数；

公式(2)中，T为作用于飞行器上的控制力矩，I为飞行器的转动惯量矩阵，ω＝[ω_x,ω_y,ω_z]^T为飞行器的姿态角速度，是ω的一阶导数；

公式(3)中，ω＝[ω_x,ω_y,ω_z]^T为飞行器的姿态角速度，q＝[q₀ q₁ q₂ q₃]^T为飞行器的姿态四元数，是q＝[q₀ q₁ q₂ q₃]^T的一阶导数；

Step4：以步骤3得到的服务飞行器和目标飞行器的位姿(r,v,ω,Q)作为服务飞行器和目标飞行器的初始姿态输入到可视化软件的可视化模块中，并将模拟图像输入到卷积神经网络模型，进行深度增强学习训练。