[发明专利]一种基于强化学习算法的认知抗干扰通信方法

权利要求书

1.一种基于强化学习算法的认知抗干扰通信方法，其特征在于：包括以下实现步骤：

步骤(1)：设置迭代时间t＝0，时间范围T，根据感知到的无干扰信道{f₁,...,f_U}和功率{p₁,...,p_V}，形成由不同频率信道和发射功率组合的子集{f_u,p_v}，其中u∈{1,...,U},v∈{1,...,V},各个子集的索引标记为k∈{1,...,K}，所有子集构成集合{{f₁,p₁},...,{f_U,p_V}}；

步骤(2)：在初始时刻t＝0，对任意无线网络节点j，遍历所有子集，计算无线网络节点j对于每个子集的度量值，得到无线网络节点j所对应的所有子集度量值的集合其中计算无线网络节点j的第k子集的度量值的具体步骤如下：

步骤(2.1)、先根据选择的信道和功率计算出无线网络节点j选择第k子集的信号干扰噪声比其中，P_j,k为无线网络节点j选择第k子集的接收功率，N₀是噪声功率；

然后，计算无线网络节点j选择第k子集的最大理论容量Γ_j,k＝Blog₂(1+SINR_j,k)，其中，B是根据分配的信道数获得的带宽；

步骤(2.2)、无线网络节点j利用选择的子集k配置的信道和功率发射信号，测量无线网络节点j选择第k子集的实际吞吐量

步骤(2.3)、计算无线网络节点j选择第k子集的奖赏值具体计算公式如下：

步骤(2.4)、计算无线网络节点j选择第k子集的度量值其为步骤2.3中得到的奖赏值与置信度之和，即其中，表示无线网络节点j选择第k子集的置信度初值，具体值由初始设置决定；

步骤(3)：更新时间t＝t+1；

步骤(4)：任意无线网络节点j从所对应的所有子集度量值的集合中选择最大度量值所对应的一个子集k，更新无线网络节点j选择子集k的次数初值为0，更新被无线网络节点j选择的子集k所对应的度量值其中更新无线网络节点j选择的子集k的度量值的具体步骤如下：

步骤(4.1)、先根据选择的信道和功率计算出无线网络节点j第s次选择子集k的信号干扰噪声比其中，P_j,k,s为无线网络节点j第s次选择子集k的接收功率，N₀是噪声功率；

然后，计算无线网络节点j第s次选择子集k的最大理论容量Γ_j,k,s＝B log₂(1+SINR_j,k,s)，其中，B是根据分配的信道数获得的带宽；

步骤(4.2)、无线网络节点j利用第s次选择的子集k配置的信道和功率发射信号，测量无线网络节点j第s次选择子集k的实际吞吐量

步骤(4.3)、计算无线网络节点j第s次选择子集k的奖赏值具体计算公式如下：

步骤(4.4)、计算无线网络节点j选择子集k的平均奖赏值具体计算公式如下：其中为无线网络节点j选择子集k的次数，为步骤(4.3)得到的无线网络节点j第s次选择子集k的奖赏值

步骤(4.5)、更新无线网络节点j选择子集k的度量值其为步骤4.4中得到的平均奖赏值与置信度之和，即其中，

步骤(5)：重复步骤(3)至步骤(4)，在时间范围T内迭代计算度量值，获得最大度量值对应的子集k，无线网络节点j选择该子集k以最大化吞吐量达到抗干扰的效果。