[发明专利]卫星信道分配方法及装置

权利要求书

1.一种卫星信道分配方法，其特征在于，所述方法包括：

获取环境中的各个信道在时刻t的环境状态S^t；

根据预先确定出的用于表征环境状态与分配策略之间的映射关系以及所述环境状态S^t，确定与所述环境状态S^t对应的分配策略A^t；

根据所述分配策略A^t为所述各个信道分配信道资源；

其中，所述环境状态S^t用于表征所述各个信道的信道资源在时刻t的分配情况，以及所述各个信道的信道资源在时刻t的使用情况；所述分配策略A^t用于表征在时刻t时，所述各个信道采取的资源分配动作；

其中，在所述确定与所述环境状态S^t对应的分配策略A^t之前，所述方法还包括：

获取所述各个信道在前一时刻t-1的环境状态S^t-1、按照与所述环境状态S^t-1对应的分配策略A^t-1进行信道资源分配，致使所述环境状态S^t-1变更到所述环境状态S^t后所得到的实时反馈r^t；

基于公式：确定出价值函数Q(S^t，A^t)；

其中，α_q为学习率，且α_q∈(0,1]，γ_q为所述实时反馈r^t与长期反馈的折中参数；

所述价值函数Q(S^t，A^t)用于表征在所述时刻t时，所述环境状态S^t与所述分配策略A^t之间的映射关系。

2.根据权利要求1所述的方法，其特征在于，在所述确定与所述环境状态S^t对应的分配策略A^t之前，所述方法还包括：

将所述环境状态S^t输入到神经网络模型中，并通过所述神经网络模型计算出价值函数Q(S^t，A^t)；

所述价值函数Q(S^t，A^t)用于表征在所述时刻t时，所述环境状态S^t与所述分配策略A^t之间的映射关系；

其中，所述通过所述神经网络模型计算出价值函数Q(S^t，A^t)，包括：

获取所述各个信道在既往各个时刻所对应的环境状态发生变更后所得到的实时反馈rⁱ，i为整数；

获取所述各个信道在前一时刻t-1的环境状态S^t-1；

根据所述环境状态S^t-1、所述环境状态S^t以及所述各个信道在既往各个时刻所对应的环境状态发生变更后所得到的实时反馈rⁱ为所述神经网络模型赋值；

其中，所述神经网络模型的输出是价值函数Q(S^t，A^t)；

所述神经网络模型的输入为所述环境状态S^t；

用于训练所述神经网络模型的损失函数为：Loss(ζ|S)＝E_ζ[G(ζ)]；

用于训练所述神经网络模型的梯度函数为：

其中，p_θ(ζ|S)表征在给定的时间点的环境状态S下，其下一时间点所对应的下一环境状态的解ζ的条件概率，且ζ＝{s₁,...,s_n}，n∈[1,2,...,N],N为信道的总个数，s_n为所述下一环境状态中第n个信道的状态；j为正整数，θ为所述神经网络模型的待更新参数。

3.根据权利要求2所述的方法，其特征在于，所述神经网络模型为ANN人工神经网络。