[发明专利]利用深度强化学习的可变构航天器在轨自变构规划方法

说明书

利用深度强化学习的可变构航天器在轨自变构规划方法，本发明涉及可变构航天器在轨自变构规划方法。本发明的目的是为了解决现有方法对于稍微复杂的构型，算法复杂度大；无法进行规划的问题。过程为：S1：初始化均值和目标网络的参数；S2：根据目标网络选择组成自变构卫星的可动模块动作；S3：化解碰撞冲突；S4：监测S3动作执行后运动模块的状态改变；S5：获取每个模块执行动作的收益；S6：选取模块执行动作获得的经验，存储在内存中；S7：从内存中选取样本输入均值网络，得到训练好的均值网络；S8：将参数复制到目标网络中进行更新；目标网络输入为模块状态、动作，输出动作价值函数。本发明用于航天器在轨自变构规划领域。

技术领域

本发明涉及可变构航天器在轨自变构规划方法。

背景技术

模块化可重构卫星是为了顺应未来卫星发展趋势提出的一种新概念卫星，它功能各异、外形相同、具有互换性的同构模块组成。这些模块包括推进模块、导航模块、电源模块等功能模块以及结构模块和特定载荷模块，通过各模块移动可以改变卫星的整体构型，从而适应在轨组装、自适应在轨服务、空间预先部署应对紧急事态等不同的任务需求。

Q学习是一种无模型离轨时间差分强化学习算法，它可以在动作过程中学习每个动作在不同状态下的长远回报，这一回报以数学期望的形式给出。动作每增加一部，获得的经验随即增多，进而对长远回报的估计更加准确，因而每一步都会对长远回报的估计进行估计。深度Q学习是在状态空间很大的情况下，用神经网络来存储动作-状态组合与其对应动作回报期望进而产生的一种算法。每一次网络的更新对应Q学习中每一次长远回报的更新。

模块化卫星完成在轨自重构任务时，如何规划模块的运动次序和运动方式，从而实现卫星整体构型从初始构型转化为目标构型是自重构需要解决的一个核心问题。为解决这一问题，有必要提出一种基于分层任务网络规划的实现方法。

从文献上一般旋转自重构机械系统在进行重构规划时，针对自重构机器人的重构规划问题虽然已经涌现出不少研究，仍有技术瓶颈需要突破：1)大多数重构规划算法仅支持简单、特定的构型；对于稍微复杂的构型，算法复杂度大幅增长。2)现有的地面机器人重构规划算法无法对这种具有更灵活运动方式的空间模块化自变构卫星的变构过程进行规划。

发明内容

本发明的目的是为了解决现有大多数重构规划方法仅支持简单、特定的构型；对于稍微复杂的构型，算法复杂度大幅增长；以及现有的地面机器人重构规划算法无法对这种具有更灵活运动方式的空间模块化自变构卫星的变构过程进行规划的问题，而提出利用深度强化学习的可变构航天器在轨自变构规划方法。

利用深度强化学习的可变构航天器在轨自变构规划方法具体过程为：

S1：初始化均值网络和目标网络的参数；

S2：根据目标网络选择组成自变构卫星的可动模块动作；

S3：每个模块把下一步动作覆盖的区域告知其他模块，动作覆盖区域重叠的模块将发生碰撞，对会发生碰撞的模块进行博弈，化解碰撞冲突；

S4：执行化解碰撞冲突之后的动作，监测动作执行后运动模块的状态改变；

S5：根据S4执行化解碰撞冲突之后的动作的结果获取每个模块执行动作的收益；

S6：将每个模块在S4中执行的动作、动作执行前的状态、动作执行后的状态以及S5中动作收益作为模块执行动作获得的经验，存储在计算机的内存中；

S7：从S6得到的内存中选取样本输入均值网络，对均值网络的网络权重进行训练，执行S2-S7若干次得到训练好的均值网络；

S8：将训练好的均值网络中的参数复制到目标网络中，对目标网络进行更新；目标网络输入为模块状态、动作，目标网络输出动作价值函数Q。

本发明的有益效果为：