[发明专利]基于多智能体增强学习算法的Walker星座轨道摄动补偿方法

说明书

技术领域

本发明涉及Walker星座轨道摄动补偿技术，尤其涉及一种基于多智能体增强学习算法的Walker星座轨道摄动补偿方法。

背景技术

Walker星座各轨道面平均分布，轨道面内的卫星也是均匀分布，卫星轨道是圆形轨道，Walker星座通常用N/F/P来表示。其中N代表星座中的卫星总数，F代表星座中的轨道面，P代表调相因子，即每个轨道面的卫星个数为：m＝N/F。衡量星座的性能的参数为几何精度因子(GDOP)。星座的GDOP值越大表示地面接收机至空间卫星的角度十分相似，即星座在摄动的影响下性能下降，GDOP值越小表示卫星在不同区域均匀分布，即摄动对星座影响较小。

卫星星座要保持长期稳定性必须要解决主要摄动力的影响问题，对于轨道高度高于800km的卫星来说其主要摄动因素为：地球非球形摄动、日月三体引力摄动和太阳辐射压力摄动。其中，太阳辐射压力摄动对于卫星轨道的影响远远小于地球非球形摄动和日月三体引力摄动。摄动对卫星轨道的影响主要在于升交点赤经和沿迹角的漂移，卫星星座内所有卫星都会因为升交点赤经和沿迹角漂移导致卫星星座性能产生下降。

因此有必要寻求一种可靠的、低耗能的轨道摄动补偿方法解决卫星星座性能下降问题，实现卫星星座的长期在轨服役。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于多智能体增强学习算法的Walker星座轨道摄动补偿方法，通过多智能体增强学习算法选择星座内不同卫星合适的轨道参数偏置，以补偿长期摄动力对卫星轨道的影响，提高卫星星座稳定性和长期可用性。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于多智能体增强学习算法的Walker星座轨道摄动补偿方法，包括如下步骤：

A、初始化增强学习算法的状态集S、动作集A和Q值表；

B、根据当前状态和共享策略即共享Q值表设计动作a，根据动作a得到当前回报r和Q值表，并更新Q值表；

C、判断当前Q值是否符合同轨道面的共享策略，即共享Q值表，若不符合，则执行步骤D；

D、判断当前几何精度因子GDOP值是否满足设计要求，如果否，则执行步骤E；

E、循环执行步骤B～步骤D，直至GDOP评价模型满足卫星星座长期稳定运行条件。

其中，所述步骤A之前进一步包括：

通过标称轨道和星座摄动模型计算出整个星座在标称轨道下的升交点赤经漂移ΔΩ和沿迹角漂移Δλ：

步骤A还包括：将初始轨道偏置量，即轨道半长轴Δa₀和倾角偏置Δi₀作为多智能体增强学习算法的初始动作输入；其中：

式(3)中j代表第j个轨道面，每个轨道面均有m颗卫星；所述动作是指摄动偏置补偿。

步骤B所述根据动作a得到当前回报r和Q值表，具体包括：

B1、根据星座摄动模型和GDOP评价模型得到当前每颗卫星的环境回报和其中j＝1,2,…F，k＝1,2,…m，即第j个轨道面的第k个卫星；

B2、各智能体独立选择动作集A中的动作a进行学习，并得到每颗卫星环境回报和Q值表

步骤B2所述得到每颗卫星环境回报是通过比较GDOP值是增大还是减小得到的，具体为：GDOP增大环境回报为-1，减小为1，相等则为0。

步骤C所述判断当前Q值是否符合同轨道面的共享策略，即共享Q值表，具体为：判断同轨道面内的卫星是否满足共享Q值表的条件。

步骤C还包括：

若符合，则同轨道面共享该Q值表，然后执行步骤D。

所述同轨道面共享该Q值表的过程为：

同轨道面内的卫星满足共享Q值表的条件，则同轨道面内卫星共享Q值表，该共享过程可表示为：

上式(4)代表第j个轨道面中的所有卫星在状态s_i下执行动作a_i得到的回报值，然后从同一轨道面Q值中选出最大的共享给轨道面内的其他卫星。

所述步骤C进一步包括：

在基于多智能体增强学习算法中，包括最优学习策略和标准Q学习策略，均采用贪婪策略，即选择的动作能够产生最大的Q值，可表示为：

所述Q值的迭代过程与标准Q学习方法保持一致，学习过程中Q值的迭代公式可表示为：

所述步骤D还包括：若当前GDOP值满足设计要求，则退出当前程序。