[发明专利]一种基于强化学习的多约束下的卫星姿态机动规划方法

说明书

本发明针对复杂多约束条件下卫星姿态机动规划问题，提出了一种基于强化学习的多约束下的卫星姿态机动规划方法，属于涉及卫星姿态控制的控制、调节技术领域。首先，基于姿态约束和姿态定向要求，建立姿态规划的强化学习模型，根据目标姿态建立数据库并计算强化学习所需参数；然后，以卫星的三个姿态角为策略进行策略迭代，策略收敛后更新姿态角，在进行完设定次数的迭代后输出多组姿态，设计筛选指标筛选出所需姿态并平滑处理。本发明的模型简单直接，贴合工程实际，计算量较小，在满足卫星对地对日精度要求的情况下实现多个强制指向约束和禁忌指向约束下的卫星姿态机动规划。

技术领域

本发明涉及卫星姿态机动规划技术，具体而言涉及一种基于强化学习的多约束下的卫星姿态机动规划方法，属于涉及卫星姿态控制的控制、调节技术领域。

背景技术

微小卫星在轨运行时面临着许多姿态约束，卫星必须时刻满足保持光伏电池阵列始终面对太阳的位姿要求以获取能量，卫星天线需满足对地定向姿态要求以实现不中断通信。同时，卫星往往配置许多精密的敏感器件和光学器件，精密器件在受到强光照射后会故障。虽然在安装时已经避免精密器件与光伏电池阵列同一朝向，但是在姿态机动规划时还需避免太阳光照射到这些器件上。除了上述姿态约束之外，还需要考虑抑制杂光、规避空间碎片等姿态约束。综上各种因素，航天器在轨运行过程中面临多个强制指向约束以及禁止指向约束。微小卫星由于自身条件限制，携带的燃料有限、机动能力有限，这就要求在多约束条件下对卫星姿态机动进行规划。

目前，对于姿态机动规划的研究较少，且大多数使用势函数的方法，势函数方法的一大弊端是模型物理意义不明确，传统势函数方法极易陷入局部最小值。一旦设计成功某一个势函数，后续添加约束条件，将要重新设计新的势函数，不利于问题模型的拓展。此外，目前国内外对于姿态机动问题的研究停留在二维空间内的静态指向约束，卫星主动规避的指向约束的种类仅仅限于1-2种，数量也仅限于2-3个，并且大多是在虚构的二维平面内，与卫星在轨运行的实际情况相去甚远，脱离实际应用。然而，卫星实际工作在三维空间，在轨道中所处的位置和面对的各种姿态约束是时刻变化的。要指定姿态机动策略，首先应该建立合适的数学模型来描述卫星自身的结构约束和外部约束，该约束模型不应过于繁琐复杂，应该有较为明确的物理意义，并且便于随时添加可能出现的新约束，便于工程人员使用。

对于高维度的连续策略机动问题，无论是针对线性系统建立的黎卡提方程，还是针对非线性系统建立的哈密尔顿-雅可比-贝尔曼(HJB)方程，在求解过程中都需要已知系统的全部动态。然而系统动态的获取不仅需要复杂的建模及化简过程，同时在非线性问题中也难以求解。

强化学习算法吸收了最优控制和自适应控制两者的优点并且互补：不需要复杂繁琐的问题建模过程，不需要系统完全可知，便于解决非线性问题，而且可以在线实时规划，求得问题的最优解。复杂多约束条件下航天器姿态机动规划问题属于非线性高维度的连续时变最优化问题，适合运用强化学习方法求解。

复杂多约束条件下卫星姿态机动问题属于在连续高维动作空间内的规划问题。相比之下，策略梯度强化学习算法计算简单，而且策略总是朝着好的方向在改善，具有更好的收敛性。因此，本发明旨在采用基于有限差分策略梯度的强化学习方法来优化姿态机动策略。

发明内容

本发明的发明目的是针对现有姿态机动规划研究的问题过于理想化、简单化、工程实用价值低且模型复杂、通用性较差、求解容易陷入局部最优、精度较差等问题，提出了一种基于强化学习的多约束下的卫星姿态机动规划方法，模型简单，物理意义明确，通用性拓展性强，求解精度较好。

本发明为实现上述发明目的采用如下技术方案：

一种基于强化学习的多约束下的卫星姿态机动规划方法，

在卫星本体坐标系下建立强制指向约束和禁止指向约束，卫星本体坐标系为理想条件下z_B轴指向地心、-y_B轴指向日心、x_B轴正方向根据右手定则确定的笛卡尔坐标系；