[发明专利]一种基于强化学习的不完全信息智能抗干扰方法

说明书

本发明属于无线通信技术领域，涉及一种基于强化学习的不完全信息智能抗干扰方法。本发明首先根据干扰源数量和无线信道模型构造干扰环境模型；根据合法用户通信质量指标构造效用函数，并把该效用函数作为学习中的回报；将不同时隙采样的频谱信息构建成频谱时隙矩阵，用该矩阵描述干扰环境状态。环境状态通过由卷积层、激活函数、池化等组成的卷积神经网络输出对应状态的抗干扰策略。合法用户通过对不同子信道上发射功率的调整和信道选择实现智能抗干扰策略调整。卷积神经网络输出的抗干扰策略通过环境反馈计算回报值。回报值、环境状态和当前抗干扰策略构成经验组，存储在经验池中。抽取经验池中的经验组完成对卷积神经网络的训练和参数跟新。

技术领域

本发明属于无线通信技术领域，涉及一种基于强化学习的不完全信息智能抗干扰方法。

背景技术

随着无线通信技术的发展，无线通信系统面临的电磁环境日益复杂恶劣，既可能会遭受来自己方通信的非故意干扰，也可能会受到敌方故意释放的干扰信号影响。为了保证干扰环境下的正常通信，针对通信对抗中出现的多种干扰手段，相应的抗干扰方法也应运而生。传统的抗干扰手段均针对干扰源的静态干扰方式，采取固定抗干扰策略。然而，随着干扰手段的智能化，干扰源可以根据合法用户通信状态的改变动态调整干扰策略，从而使得传统抗干扰方法无法保证合法用户在此动态干扰环境下的正常通信。因此有必要针对干扰源的动态干扰策略采取相应的智能抗干扰策略，保证合法用户在动态干扰环境下的正常通信。

目前，针对干扰源的动态干扰手段主要采用基于博弈理论的方式进行抗干扰策略动态调整。该方法构造与合法用户通信质量相关的效用函数，在每一次博弈中，把接收到的干扰策略作为约束条件，通过最大化效用函数实现抗干扰策略调整。通过多次博弈达到博弈均衡，得到在动态干扰策略下的最优通信策略。具体可参考：Luliang Jia,etc.,“AHierarchical Learning Solution for Anti-Jamming Stackelberg Game withDiscrete Power Strategies”,IEEE Wireless Communications Letters,vol.6,no.6,December 2017；Beibei Wang,etc.,“An Anti-Jamming Stochastic Game for CognitiveRadio Networks”,IEEE Journal on Selected Areas in Communications,vol.29,no.4,Apr.2011。该方法需要合法用户完全已知或者能够完美估计出干扰源的干扰策略。然而，现实中干扰源的干扰手段很难获取或者进行完美估计。因此基于已知干扰策略的完全信息博弈抗干扰方法很难实际应用。

发明内容

针对上述技术问题，本发明提出了一种基于强化学习的不完全信息智能抗干扰决策，用于针对动态的干扰策略进行干扰抑制，保证合法用户的正常通信。

本发明根据干扰对抗中合法用户和干扰者策略的动态性，在博弈理论基础上通过强化学算法实现合法用户在不完全估计干扰源干扰方法的情况下做出通信策略动态调整。本发明首先根据干扰源数量和无线信道模型构造干扰环境；根据合法用户通信质量指标构造效用函数，并把该效用函数作为学习中的回报；将不同时隙采样的频谱信息构建成频谱时隙矩阵，用该矩阵描述干扰环境状态。环境状态通过由卷积层、激活函数、池化等组成的卷积神经网络输出对应状态的抗干扰策略。合法用户通过对不同子信道上发射功率的调整和信道选择实现智能抗干扰策略调整。卷积神经网络输出的抗干扰策略通过环境反馈计算回报值。回报值、环境状态和当前抗干扰策略构成经验组，存储在经验池中。最后抽取经验池中的经验组完成对卷积神经网络的训练和参数更新。该学习机制一直持续，直到学习结果收敛于博弈均衡条件。

利用本发明所提出抗干扰策略进行合法用户智能抗干扰方案实现包括以下步骤：

S1，智能抗干扰方案各个算法模块定义：干扰环境定义、干扰环境状态定义、回报函数定义、抗干扰策略定义、经验存储池定义。