[发明专利]一种基于强化学习算法的认知抗干扰通信方法

说明书

本发明公开了一种基于强化学习算法的认知抗干扰通信方法。首先，利用频谱感知获得无干扰的信道和功率，形成由不同频率信道和发射功率组合的子集，并标记各个子集的索引值，所有这些子集构成候选资源集合；然后，在初始时刻，每一个节点遍历所有子集，计算节点对于每个子集的度量值，得到节点所对应的所有子集度量值的集合；再次，节点从对应度量值的集合中选择最大度量值所对应的一个子集，更新该子集对应的度量值；最后，在时间范围T内迭代计算度量值，其中最大度量值对应的子集即可使节点吞吐量最大化。本发明利用强化学习算法学习到最优策略，各个节点进行独立调整信道选择和功率分配，使抗干扰通信系统吞吐量最大化，达到抗干扰的目的。

技术领域

本发明涉及无线通信领域，是一种提高认知无线网络容量的通信抗干扰方法。

背景技术

目前，高密度、多频段部署的无线通信系统带来了严重的电磁干扰。因此，无线通信系统在追求更高速率、更远距离及更佳业务质量的同时，需要极大地提升自身的抗干扰能力。

通常，通信系统中应用较为广泛的主要是扩频抗干扰和自适应天线技术。扩频抗干扰通常分为直接序列扩频和跳频两种方式，其抗干扰原理是将信号频谱在频域上进行扩展，从而降低了频谱的功率密度，使有用信号淹没在干扰和环境噪声中，不易被对方侦测设备发觉以此实现抗干扰。自适应天线技术是利用干扰源和有用信号传来方向的差异，通过自适应调整天线阵的内部参数从而实现抗干扰的目的。

随着电磁环境日趋复杂，恶意、非恶意干扰越来越严重，传统扩频抗干扰技术实时性、时变性不足，难以对抗新兴的具备学习能力的干扰机。为了更好地提升抗干扰通信系统性能，近年提出了Q学习等抗干扰技术，其是智能技术在抗干扰领域的应用，即能够感知、理解电磁环境并利用机器学习进行决策，进而选择最佳抗干扰方式。但已提出的Q学习抗干扰技术中，在大规模的频率域-功率域候选集合中难以学习到有效抗干扰策略。

发明内容

针对于背景技术中所述的Q学习抗干扰技术存在的问题，我们提出了一种强化学习的认知抗干扰通信方法。本方法解决的技术问题是使无线通信系统如何在大规模的频率域-功率域候选集合中学习到有效抗干扰策略，然后自主选择最优频率信道和发射功率配置，从而最大化通信系统容量。

本发明的基本原理为：首先，利用频谱感知获得无干扰的信道和功率，形成由不同频率信道和发射功率组合的子集，并标记各个子集的索引值，所有这些子集构成候选资源集合；然后，在初始时刻，每一个无线网络节点遍历所有子集，计算无线网络节点对于每个子集的度量值，得到无线网络节点所对应的所有子集度量值的集合；再次，无线网络节点从对应的所有子集度量值的集合中选择最大度量值所对应的一个子集，更新该子集对应的度量值；最后，在时间范围T内迭代计算度量值，其中最大度量值对应的子集即可使无线网络节点吞吐量最大化，从而使抗干扰通信系统吞吐量最大化，达到抗干扰的目的。

一种基于强化学习算法的认知抗干扰通信方法，包括以下实现步骤：

步骤(1)：设置迭代时间t＝0，时间范围T，根据感知到的无干扰信道{f₁,...,f_U}和功率{p₁,...,p_V}，形成由不同频率信道和发射功率组合的子集{f_u,p_v}，其中u∈{1,...,U},v∈{1,...,V},各个子集的索引标记为k∈{1,...,K}，所有子集构成集合{{f₁,p₁},...,{f_U,p_V}}；

步骤(2)：在初始时刻t＝0，对任意无线网络节点j，遍历所有子集，计算无线网络节点j对于每个子集的度量值，得到无线网络节点j所对应的所有子集度量值的集合其中计算无线网络节点j的第k子集的度量值的具体步骤如下：