[发明专利]基于回溯Q学习的雷达抗干扰智能决策方法

权利要求书

1.一种基于回溯Q学习的雷达抗干扰智能决策方法，其特征在于，包括如下步骤：

(1)建立1张P_J行、P_A列的Q表格，其中P_J为干扰样式种类的排列组合数量，P_A为抗干扰方法的数量；

(2)雷达对回波信号x(k)进行检测，识别获取回波信号里的所有干扰样式；

(3)雷达按照先空域后时频域的基本原则，使用贪婪算法从总抗干扰算法库中选择一个抗干扰方法；

(4)雷达使用所选择的抗干扰方法对回波信号进行处理，得到处理后数据，并构建干扰抑制的评价指标；若选择的抗干扰方法与回波信号中的某种干扰样式相对应，则不论该干扰样式是否已被抑制，均认为该干扰样式已消除，干扰状态发生转变；

(5)雷达判断当前处理的干扰样式是否为最后一种，若不是，则按照如下公式对Q表格进行更新：

反之，若当前处理的干扰为最后一种干扰，则按照下式对Q表格进行更新：

Q'(s_t,a_i)＝Q(s_t,a_i)+α[ζ-Q(s_t,a_i)]，

其中，s_t表示干扰状态；a_i表示第i种抗干扰方法，i∈1...P_A；s_t+1表示系统在干扰状态为s_t时，使用抗干扰方法a_i之后的干扰状态；Q(s_t,a_i)表示系统在干扰状态为s_t时，选择抗干扰方法a_i的Q值；表示系统干扰状态为s_t+1时，所有抗干扰方法中最大的Q值；ζ表示评价指标，α为学习率，γ为折扣系数；

(6)雷达在对回波信号里的每一种干扰样式都进行处理之后，对本轮Q表格中的关键节点进行回溯更新，所述关键节点定义为：若某时刻回波信号干扰状态为s_t，雷达执行抗干扰方法a_i后，干扰状态发生了改变，则认为Q(s_t,a_i)为此轮处理中的关键节点，且每轮回溯更新时，各关键节点的回溯更新Q值相同；回溯更新具体步骤如下：

(6a)计算回溯更新Q值：

其中，w_hs＝[w₁,w₂,…,w_P]^T表示回溯更新权值，ζ_hs＝[ζ₁,ζ₂,…,ζ_P]^T表示干扰抑制的评价指标，m为Q(s_t,a_i)被认定为关键节点的次数；

(6b)根据下式回溯更新Q表格中的各关键节点：

其中，Q_hs代表回溯更新的Q值，α为学习率。

2.根据权利要求1所述的方法，其特征在于：步骤(3)中从抗干扰算法库中选择一个抗干扰方法，具体是：定义一个贪婪系数ε，且0＜ε＜1；令系统在抗干扰算法库进行随机选择或根据Q表格进行选择，其中随机选择的概率为ε、根据Q表格进行选择的概率为1-ε；所述系统在抗干扰算法库中根据Q表格进行选择是根据Q表格中当前干扰状态所在的行，选择其中最大Q值对应的抗干扰方法。