[发明专利]一种基于强化学习算法的认知抗干扰通信方法

摘要

本发明公开了一种基于强化学习算法的认知抗干扰通信方法。首先，利用频谱感知获得无干扰的信道和功率，形成由不同频率信道和发射功率组合的子集，并标记各个子集的索引值，所有这些子集构成候选资源集合；然后，在初始时刻，每一个节点遍历所有子集，计算节点对于每个子集的度量值，得到节点所对应的所有子集度量值的集合；再次，节点从对应度量值的集合中选择最大度量值所对应的一个子集，更新该子集对应的度量值；最后，在时间范围T内迭代计算度量值，其中最大度量值对应的子集即可使节点吞吐量最大化。本发明利用强化学习算法学习到最优策略，各个节点进行独立调整信道选择和功率分配，使抗干扰通信系统吞吐量最大化，达到抗干扰的目的。

主权项

1.一种基于强化学习算法的认知抗干扰通信方法，其特征在于：包括以下实现步骤：步骤(1)：设置迭代时间t＝0，时间范围T，根据感知到的无干扰信道{f₁,...,f_U}和功率{p₁,...,p_V}，形成由不同频率信道和发射功率组合的子集{f_u,p_v}，其中u∈{1,...,U},v∈{1,...,V},各个子集的索引标记为k∈{1,...,K}，所有子集构成集合{{f₁,p₁},...,{f_U,p_V}}；步骤(2)：在初始时刻t＝0，对任意节点j，遍历所有子集，计算节点j对于每个子集的度量值，得到无线网络节点j所对应的所有子集度量值的集合其中计算节点j的第k子集的度量值的具体步骤如下：步骤(2.1)、先根据选择的信道和功率计算出无线网络节点j选择第k子集的信号干扰噪声比其中，P_j,k为节点j选择第k子集的接收功率，N₀是噪声功率。然后，计算节点j选择第k子集的最大理论容量Γ_j,k＝Blog₂(1+SINR_j,k)，其中，B是根据分配的信道数获得的带宽；步骤(2.2)、无线网络节点j利用选择的子集k配置的信道和功率发射信号，测量节点j选择第k子集的实际吞吐量步骤(2.3)、计算节点j选择第k子集的奖赏值具体计算公式如下：步骤(2.4)、计算节点j选择第k子集的度量值其为步骤2.3中得到的奖赏值与置信度之和，即其中，表示节点j选择第k子集的置信度初值，具体值由初始设置决定。步骤(3)：更新时间t＝t+1；步骤(4)：任意节点j从所对应的所有子集度量值的集合中选择最大度量值所对应的一个子集k，更新节点j选择子集k的次数初值为0，更新被节点j选择的子集k所对应的度量值其中更新节点j选择的子集k的度量值的具体步骤如下：步骤(4.1)、先根据选择的信道和功率计算出无线网络节点j第s次选择子集k的信号干扰噪声比其中，P_j,k,s为节点j第s次选择子集k的接收功率，N₀是噪声功率。然后，计算节点j第s次选择子集k的最大理论容量Γ_j,k,s＝Blog₂(1+SINR_j,k,s)，其中，B是根据分配的信道数获得的带宽。步骤(4.2)、无线网络节点j利用第s次选择的子集k配置的信道和功率发射信号，测量节点j第s次选择子集k的实际吞吐量步骤(4.3)、计算节点j第s次选择子集k的奖赏值具体计算公式如下：步骤(4.4)、计算节点j选择子集k的平均奖赏值具体计算公式如下：其中为节点j选择子集k的次数，为步骤(4.3)得到的节点j第s次选择子集k的奖赏值步骤(4.5)、更新节点j选择子集k的度量值其为步骤4.4中得到的平均奖赏值与置信度之和，即其中，步骤(5)：重复步骤(3)至步骤(4)，在时间范围T内迭代计算度量值，获得最大度量值对应的子集k，节点j选择该子集k以最大化吞吐量达到抗干扰的效果。