[发明专利]一种面向抗干扰的雷达频率捷变方法

权利要求书

1.一种面向抗干扰的雷达频率捷变方法，其特征在于，包括以下步骤：

(1)初始化；

(1-1)构建雷达频率选择估值网络Q^eval，表达式如下：

q_t,h_t＝Q^eval(o_t,h_t-1；θ)

其中，θ为Q^eval的网络参数，o_t是雷达在t时间步时的观测；在Q^eval中，h_t-1是雷达对于t-1时间步及以前的记忆向量，q_t是t时间步雷达对于各个可选择频率的评估向量，h_t是雷达对于t时间步及以前的记忆向量；θ的初始值为随机产生；

将初始的估值网络Q^eval作为当前估值网络Q^eval；

(1-2)构建雷达频率选择目标网络Q^target，表达式如下：

v_t,

其中，Q^target与Q^eval结构相同；在Q^target中，令t时间步雷达对于各个可选择频率的评估向量记为v_t，雷达对于t-1时间步及以前的记忆向量记为g_t-1，雷达对于t时间步及以前的记忆向量记为g_t；Q^target的参数为的初始值是独立于θ随机产生的；

将初始的目标网络Q^target作为当前目标网络Q^target；

(1-3)创建一个初始为空的内存D，内存大小为L_D；初始化时间步t＝1；初始化Q^eval的记忆向量h₀为全零向量；

(2)观测获取；

构建t时间步雷达获得的观测：

o_t＝[f_t-1,I_t-1,r_t-1,d_t,p_t],

其中，f_t-1是雷达在t-1时间步选择的频率对应的索引值，记雷达可选择的频率共有M种，分别以1,2,...,M标记为对应的索引值，即f_t-1∈{1,2,...,M}；其中，f₀为从{1,2,...,M}中随机选择的一个索引值；I_t-1是雷达在t-1时间步估计的接收干扰功率，令I₀＝0；r_t-1是雷达在t-1时间步抗干扰效能的即时评估，令r₀＝0；当t≥2时，r_t-1的计算表达式如下:

其中，是功率阈值；

是t时间步雷达对离自身最近的N个目标的距离预测值；p_t是雷达自身在t时间步的位置；

其中，d_t的预测方法如下：

若雷达在t-1时间步所受干扰功率小于阈值在t-1时间步，雷达发射信号获得离自身最近的N个目标的距离测量值：以及每个目标在t-1时间步相应的速度测量值：其中，为t-1时间步雷达发射信号获得离自身最近第n个目标的距离测量值；为离雷达最近第n个目标在t-1时间步的速度测量值，1≤n≤N；L₀，A₀均为全零向量；

则t时间步雷达对离自身最近的第n个目标距离预测值为：

其中，Δt是相邻两个时间步间的时间间隔；

若雷达在t-1时间步所受干扰功率大于等于阈值则t时间步雷达对离自身最近的第n个目标距离预测值为：

(3)频率选择与记忆更新；

将o_t和h_t-1输入当前估值网络Q^eval：

当前估值网络Q^eval输出对应的q_t和h_t，其中：

其中，表示雷达在t时间步如果采取频率i将会获得的抗干扰效能的评估值；

雷达按照如下方式选择t时间步的频率，得到t时间步的雷达频率捷变结果：

其中，ò∈(0,1)是探索概率；

(4)经历构建与储存；

对t进行判定：

若t＜2，则令t＝t+1,然后重新返回步骤(2)；

若t≥2，则构建t时间步的经历：e_t＝[o_t-1,h_t-2,f_t-1,r_t-1,o_t,h_t-1]，然后将经历e_t储存到内存D中，令t＝t+1,然后重新返回步骤(2)；直至当t≥L_B+1时，构建t时间步的经历e_t并将e_t储存到内存D后，进入步骤5)；其中，若t＞L_D+1时，则将从内存D中移除，构建t时间步的经历e_t并将e_t储存到内存D中，然后进入步骤5)；L_B为设定的训练集的经历数目，1≤L_B≤L_D；

(5)训练集构建；

从内存D中随机截取L_B个连续经历，构建一个训练集B：

其中，τ为该训练集的起始时间步；若L_B+1≤t≤L_D+1，则τ从[2,t-L_B+1]范围内的整数中随机选取；若t＞L_D，则τ从[2,L_D-L_B+2]范围内的整数中随机选取；

(6)构造代价函数；

对于步骤(5)构建的训练集中的每一个经历e_t∈B，τ≤t≤τ+L_B-1，计算对应的目标值y_t：

其中，γ∈[0,1]是衰减系数；

表示通过当前目标网络Q^target计算的雷达在t时间步如果采取频率i将会获得的抗干扰效能的评估值；的计算方法如下：

令初始记忆向量g_τ-1＝h_τ-1，对于每个时间步t,τ≤t≤τ+L_B-1，将该时间步对应的观测o_t和记忆向量g_t-1输入到当前目标网络Q^target，当前目标网络Q^target输出t时间步雷达对于各个可选择频率的评估向量v_t和雷达对于t时间步及以前的记忆向量g_t；其中，

构造代价函数：

(7)网络参数更新；

利用梯度下降对当前估值网络Q^eval的网络参数θ进行更新：

其中，α∈(0,1)为更新步长；更新后，令t←t+1，然后重新回到步骤(2)；

其中，每隔设定的时间步数T时，对当前目标网络Q^target的网络参数进行更新，将当前Q^eval的网络参数θ赋值给当前目标网络Q^target得到更新后的当前目标网络Q^target，即当mod(t,T)＝0时，其中,mod(t,T)表示求t对T的余数。