[发明专利]基于Q学习的无线通信防窃听干扰功率控制方法

权利要求书

1.一种基于Q学习的无线通信防窃听干扰功率控制方法，其特征在于，包括以下步骤：

S1.初始化发射功率P_s、安全评估系数ρ、干扰功率x_i和工作时间的等级t_s，具体包括：

S101.将发射功率P_s平均分割为n档，记发射功率集为L，令L＝[P₁,P₂,…,P_n]；

S102.确定合法发送方与接收方协同做出的安全评估系数ρ，ρ∈[0,1]；

S103.将合法发送者发射功率P_s、安全评估系数ρ合并得到状态集合，记为S，S＝[P_s，ρ]；

S104.将友好干扰机的干扰功率平均分割为n档，记友好干扰机的干扰功率动作集为A，令A＝[x₁,x₂,…,x_n]；

S105.将边缘服务器的工作时间t_s平均分割为k个部分，记作一个时隙

S2.计算第k个时隙工作状态的相关量；所述的S2步骤包括：

S201.确定信道衰落系数为λ，λ∈[0,1]，测量合法发送者到接收者的距离d_sr、合法发送者到窃听者的距离d_se、友好干扰机到窃听者的距离为d_je；

计算窃听者窃听渠道所得信息：

S202.计算合法接收者所得信息：其中θ∈[0,1]为在加密技术帮助下，合法接收者对干扰的免疫程度；

S203.计算测量信息保密容量C(P_s^(k),x_i^(k))：

C(P_s^(k),x_i^(k))＝log(γ_r(P_s^(k),x_i^(k)))-log(γ_e(P_s^(k),x_i^(k)))

S204.计算保密信息量I(S^(k),x_i^(k))：

I(S^(k),x_i^(k))＝ρ^(k)C(P_s^(k),x_i^(k))

S205.计算测量系统能量损耗E_s(x_i^(k))：

E_s(x_i^(k))＝x_i^(k)E_i+x_i^(k)E_v+ηE_n

其中，E_i为测量友好干扰机单位能量损耗，E_v为边缘服务器计算能量损耗，E_n为常规信息传输能量损耗，记η为常规系数，η∈[0,1]；

S206.根据上述测量得到的保密容量和能量损耗，计算无线通信防窃听干扰功率控制算法的即时效益函数：

U(S^(k)，x_i^(k))＝I(S^(k)，x_i^(k))-E_s(x_i^(k))；

S3.友好干扰机使用Q学习算法学习，在每个时隙根据系统状态S^(k)做出决策，选择相应的动作x_i^(k)；所述的S3步骤具体包括：

S301.根据合法发送者的发射功率组成的状态集和干扰机干扰功率动作集初始化Q矩阵；令矩阵V＝mn，m≥0,n≥0，并列出Q值表；预设Q学习的学习率和未来重视程度的衰减系数分别为α∈(0，1]、δ∈(0，1]，调节α、δ至合适的取值；

S302.测得第k个时隙合法发送者的发射功率P_s^(k)，安全评估系数ρ^(k)，得到状态值S^(k)；查询Q值表中S^(k)对应的最优干扰功率记最优调度概率为(1-ε)，ε∈(0,1]；通过策略选择此时的调度动作，调节ε至合适取值；

S303.当k＝1，在初始时隙由于无法测量状态S⁽¹⁾，随机选择一个干扰功率动作当k≥2，在k时隙测量状态为S^(k)，友好干扰机干扰功率为此时边缘服务器通过S206步骤的公式计算本次训练获得的即时效益U(S^(k),x_i^(k))；

S304.在时隙k结束时，依据步骤S101至S104测量第(k+1)个时隙发送者的发射功率P_s^(k+1)和安全评估系数ρ^(k+1)，从而确定下一时隙的状态值S^(k+1)；

S305.更新友好干扰机在状态S^(k)下采取动作的Q方程和通过最优动作得到的V方程；具体公式为：

S306.重复步骤S302至步骤S305，直至得到一个收敛的理想Q值表；

S4.边缘服务器完成Q学习训练后，友好干扰机根据Q值表中当前状态S^(k)对应的方程调度动作发送友好干扰信号。