[发明专利]一种基于强化学习的不完全信息智能抗干扰方法

权利要求书

1.一种基于强化学习的不完全信息智能抗干扰方法，该方法用于在博弈理论基础上实现合法用户在不完全估计干扰源干扰方法的情况下做出通信策略动态调整，其特征在于，包括以下步骤：

S1、初始化定义，包括：

干扰环境：根据干扰者数量、干扰方式和无线信道模型定义干扰环境；

干扰环境状态：将不同时隙测得的频谱信息构成频谱时隙矩阵，频谱时隙矩阵大小由观测频谱范围和观测时隙长度决定；

回报函数：根据合法用户的通信质量指标构造反馈回报函数；

抗干扰策略：将不同子信道上的发射功率组合定义为抗干扰策略集；

所述的回报函数为：

其中，m∈{1,…,N}是信道索引号，N是信道个数，是干扰源在信道上的干扰功率，j∈{1,…,J}是干扰源索引号，J是干扰源个数；t是时序索引号；表示合法通信用户间的信道，为子信道发射功率，函数表示当f_j＝m时，输出1，否则输出0；是发射功率开销；

S2、将干扰环境状态，即频谱时隙矩阵通过卷积神经网络得到抗干扰策略，并将该策略作用于干扰环境，根据回报函数观测当前抗干扰策略下在干扰环境的回报值；

S3、将当前抗干扰策略、干扰环境状态和抗干扰策略下的回报值构成经验组存储到经验池；

S4、从经验池中抽样经验组对卷积神经网络进行训练和参数更新；

S5、判断学习机制是否满足预设的停止条件，若满足，则停止学习得到最后抗干扰策略；否则回到S2继续学习。

2.根据权利要求1所述的一种基于强化学习的不完全信息智能抗干扰方法，其特征在于，所述步骤S4的具体方法为：

卷积神经网络参数的训练，通过抽取的经验组中的当前状态和下一步状态通过卷积神经网络得到对应的状态行为值，并构建对应的损失函数，通过最小化损失函数进行网络参数的更新。