[发明专利]基于Q学习的无线通信防窃听干扰功率控制方法

说明书

本发明涉及一种基于Q学习的无线通信防窃听干扰功率控制算法，包括以下步骤：S1.初始化发射功率P_s、安全评估系数ρ、干扰功率x_i和工作时间的等级t_s，将边缘服务器的工作时间t_s平均分割为k个部分，记作一个时隙S2.计算第k个时隙工作状态的相关量；S3.友好干扰机使用Q学习算法学习，在每个时隙根据系统状态S^(k)做出决策，选择相应的动作x_i^(k)；S4.边缘服务器完成Q学习训练后，友好干扰机根据Q值表中当前状态S^(k)对应的方程调度动作发送友好干扰信号。本发明通过Q学习算法训练干扰机，使其能够根据合法发送者的信息发射功率不断尝试，发射干扰功率，最终达到最佳的干扰功率，从而取得信息安全性的最大化和网络能量损耗的最小化，提高网络能量利用率的理想效果。

技术领域

本发明涉及机器学习和物理层安全领域，更具体地，涉及一种基于Q学习的无线通信防窃听干扰功率控制方法。

背景技术

友好干扰机以一定的功率发射干扰，旨在干扰窃听者，使其无法窃听到合法发送机发送的信息，从而保证其保密性。友好干扰机干扰功率的调节对保密效果有着至关重要的影响。干扰功率过大，干扰机干扰窃听者的同时也会干扰主频道上的信息传输，造成合法接收者无法复原出发送者所传输的信息，更消耗了大量的能量，增加了网络的能耗；若干扰功率过小，窃听者仍然能够窃听大部分信息，达不到保密效果。干扰机需要通过感知合法发送者的信息发射功率从而对自身的干扰功率，做出合理设置和选择。

2013年的论文《Physical Layer Security for Two-Way Untrusted RelayingWith Friendly Jammers》中提出最优干扰功率算法，是通过测量出可计算的状态量建立模型，以恒定最优功率进行干扰，从而实现通信信道的保密性。论文《Ally FriendlyJamming:How to Jam Your Enemy and Maintain Your Own Wireless Connectivity atthe Same Time》提出用密钥适当控制友好干扰信号，使其对于未经授权的设备是不可预测的干扰，而合法接收者可以根据密钥进行恢复，但密钥一旦被窃听者获取，将很难在短时间发现并有效保护秘密信息。论文《Secure Communication through Wireless-PoweredFriendly Jamming:Jointly Online Optimization over Geography,Energy and Time、Competing mobile network game: Embracing antijamming and jamming strategieswith reinforcement learning》是针对频道校对、干扰器地理位置布置等因素进行强化学习，假定前提是对准频道即干扰成功。但发送者的信息发射功率通常由于合法接收者的地理位置、接收功率、解码能力等因素而变化波动。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于Q学习的无线通信防窃听干扰功率控制方法，通过Q学习算法训练干扰机，使其能够根据合法发送者的信息发射功率不断尝试，发射干扰功率，最终达到最佳的干扰功率。

为解决上述问题，本发明提供的技术方案为：一种基于Q学习的无线通信防窃听干扰功率控制方法，包括以下步骤：

S1.初始化发射功率P_s、安全评估系数ρ、干扰功率x_i和工作时间的等级t_s；

S2.计算第k个时隙工作状态的相关量；

S3.友好干扰机使用Q学习算法学习，在每个时隙根据系统状态S^(k)做出决策，选择相应的动作x_i^(k)；