[发明专利]一种基于强化学习的多约束下的卫星姿态机动规划方法

权利要求书

1.一种基于强化学习的多约束下的卫星姿态机动规划方法，其特征在于，

在卫星本体坐标系下建立强制指向约束和禁止指向约束，所述卫星本体坐标系为理想条件下z_B轴指向地心、-y_B轴指向日心、x_B轴正方向根据右手定则确定的笛卡尔坐标系；

以翻滚角、俯仰角和偏航角为策略建立强化学习模型，所述强化学习模型通过内层迭代更新每个时刻的策略梯度且通过外层迭代更新各时刻的策略，更新策略梯度的总回报函数根据卫星对地对日定向精度以及禁止指向约束建立；

从卫星满足对地定向精度或对日定向精度的姿态解集中抽取与参考目标姿态相关的姿态解生成数据库；

根据数据库初始化强化学习模型，通过内层迭代根据各时刻的策略差及修正策略的期望价值函数更新策略梯度直至策略梯度收敛，对内层迭代中止得到的策略梯度进行修正后得到用于更新每个时刻策略的最终策略梯度；

从强化学习模型每次外层迭代结束得到的策略中筛选出每个时刻满足卫星对地对日定向精度以及姿态约束的策略，对筛选出的策略进行平滑处理得到每个时刻的最终姿态规划结果；其中，

所述总回报函数为：其中,x_1,k(m)、x_2,k(m)和x_3,k(m)分别为卫星在第k次迭代中当前时刻m的翻滚角俯仰角θ_k(m)和偏航角，R_d,k(m)为第k次外层迭代中当前时刻m的策略下与对地和对日定向精度相关的回报函数，z_B,k(m)为第k次外层迭代中当前时刻m下的卫星本体坐标系z_B轴，μ_earth为卫星本体坐标系z_B轴对地夹角的权重，z_O,k(m)为第k次外层迭代中当前时刻m下的质心轨道坐标系z_O轴，μ_sun为质心轨道坐标系z_O轴对日夹角的权重，y_B,k(m)为第k次外层迭代中当前时刻m下的卫星本体坐标系y_B轴，R_sun,k(m)为第k次外层迭代中当前时刻m下的太阳矢量，R_m-i-j,k(m)是第k次外层迭代中当前时刻m的策略下与第i个敏感器视场中心轴和第j个反射光区域中心轴夹角相关的回报函数，μ_f-j-i为第i个敏感器视场中心轴和第j个反射光区域中心轴相对于卫星位置矢量的夹角的回报函数的权重系数，为第k次外层迭代中当前时刻m下第i个敏感器的视场中心轴，为第k次外层迭代中当前时刻m下第j个反射光区域中心轴相对于卫星的位置矢量，N_O为敏感器个数，N_J为反射光区域总数，R_s,k(m)为第k次外层迭代中当前时刻m的策略下太阳位置矢量与所有敏感器视场中心轴的夹角相关的回报函数，μ_sun-i为与太阳位置矢量和第i个敏感器视场中心轴夹角相关的回报函数的权重系数；

通过内层迭代根据各时刻的策略差及修正策略的期望价值函数更新策略梯度的方法为：

计算第k次外层迭代中第k_G次内层迭代时当前时刻m的策略差q＝1时表示翻滚角差值，q＝2时表示俯仰角差值，q＝3时表示偏航角差值，x_q,k-2(m)为第k-2次外层迭代中当前时刻m的策略，x_q,k-1(m)为第k-1次外层迭代中当前时刻m的策略，η为学习步长；

根据第k次外层迭代中每次内层迭代计算的当前时刻m的策略差及修正策略的期望价值更新第k次外层迭代中当前时刻m的策略梯度G_q,k(m)，为第k次外层迭代中第0次、第1次内层迭代时当前时刻m的策略差，为第k次外层迭代中第1次、第2次、第k_G次内层迭代修正策略的期望价值，

从强化学习模型每次迭代结束得到的策略中筛选出每个时刻满足卫星对地对日定向精度以及姿态约束的策略的指标为：χ(k)为关于第k次外层迭代得到的所有策略的函数，z_B,k(m),z_O,k(m)为第k次外层迭代中当前时刻m下卫星本体坐标系z_B轴和质心轨道坐标系z_O轴的夹角，-y_B,k(m),R_sun,k(m)为第k次外层迭代中当前时刻m下卫星本体坐标系-y_B轴和太阳位置矢量R_sun的夹角，为第k次外层迭代中当前时刻m下翻滚角的均方差，σ(θ_k(m))为第k次外层迭代中当前时刻m下俯仰角θ_k(m)的均方差，σ(ψ_k(m))为第k次外层迭代中当前时刻m下偏航角的均方差，υ₁、υ₂、υ₃为权重系数。