[发明专利]基于回溯Q学习的雷达抗干扰智能决策方法

说明书

本发明提出一种基于回溯Q学习的雷达抗干扰智能决策方法，主要解决现有雷达面对复杂干扰场景时，对干扰信号的抑制效果以及反应能力不佳的问题。方案包括：1)建立Q表格；2)雷达对回波信号进行检测，识别其中所有干扰样式；3)按照先空域后时频域的基本原则，使用贪婪算法从总抗干扰算法库中选择一个抗干扰方法；4)使用选择的抗干扰算法对回波数据进行处理，并使用干扰抑制评价指标对该抗干扰方法的性能进行评估；5)使用评价指标对Q表格进行更新；6)对所有干扰都选择了一种对应的抗干扰算法后，依据最终的性能评估指标对Q表格进行回溯更新。本发明能够有效帮助雷达快速寻找最佳抗干扰方法，提高了系统稳健性和干扰抑制能力。

技术领域

本发明属于通信技术领域，涉及数字信息传输，具体为一种基于回溯Q学习的雷达抗干扰智能决策方法，可用于雷达自主更新和调整抗干扰策略，提高雷达抵抗复合型干扰的能力。

背景技术

雷达由于在白天黑夜均能探测远距离的目标，且不受雾、云和雨的阻挡，具有全天候、全天时的特点，并有一定的穿透能力，因此，它不仅成为军事上必不可少的电子装备，是影响战局的重要因素，而且广泛应用于社会经济发展中；在雷达对抗中掌握主动的一方将获得巨大优势。随着干扰与抗干扰技术的不断进步，电磁环境日趋复杂，雷达面临的干扰种类急剧增多，干扰场景复杂，即使不少学者针对不同干扰提出了各种干扰抑制手段，但传统雷达由于极度依赖人员的操控，因此难以做到精准抑制干扰信号。因此，研究雷达智能决策技术，使雷达能够依据自身应用环境自适应的制定抗干扰策略流程，合理地使用资源来实现干扰信号的精准抑制已成为雷达领域的研究热点之一。

近年来，随着人工智能技术不断发展，使雷达具备智能化抗干扰成为可能。河海大学的汪浩，王峰等人在文献“强化学习算法在雷达智能抗干扰中的应用”(doi:10.16592/j.cnki.1004-7859.2020.03.009)中提出了一种基于强化学习模型的智能抗干扰方法，利用Q学习算法对反干扰模型中的值函数进行计算并迭代，使反干扰策略具备自主更新与优化的能力。但该算法存在问题：1)该算法没有考虑到雷达信号处理中存在的各种误差，由于数据误差的存在，该算法由于缺乏稳健性，将很难收敛。2)没有考虑到当各个域的方法都有多种选择时，每个域的方法该如何选择才能使得最终抗干扰效果最优。

发明内容

本发明结合强化学习知识与雷达抗干扰技术，考虑到雷达接收数据中存在的各种误差，对Q学习算法进行改进，增加了回溯更新过程，并将其运用至雷达智能抗干扰中，用于提高雷达对干扰信号的抑制效果以及雷达的快速反应能力。

实现本发明的思路是：首先雷达识别回波信号中的所有干扰样式，随后使用贪婪算法，依据Q表格，从抗干扰算法库中选择一合适的抗干扰方法，对回波信号进行处理。使用干扰抑制评价指标对该抗干扰方法的性能进行评估，使用评估结果对Q表格进行更新，之后对剩余干扰继续进行选择抗干扰方法、性能评估、Q表格更新这三种处理步骤。当对所有的干扰都选择了一种对应的抗干扰算法后，依据最终的性能评估指标，对Q表格进行一次回溯更新，依据此做法，能够有效地帮助雷达快速地寻找最佳抗干扰方法，提高雷达对干扰的抑制能力，具体步骤如下：

(1)建立1张P_J行、P_A列的Q表格，其中P_J为干扰样式种类的排列组合数量，P_A为抗干扰方法的数量；

(2)雷达对回波信号x(k)进行检测，识别获取回波信号里的所有干扰样式；

(3)雷达按照先空域后时频域的基本原则，使用贪婪算法从总抗干扰算法库中选择一个抗干扰方法；

(4)雷达使用所选择的抗干扰方法对回波信号进行处理，得到处理后数据，并构建干扰抑制的评价指标；若选择的抗干扰方法与回波信号中的某种干扰样式相对应，则不论该干扰样式是否已被抑制，均认为该干扰样式已消除，干扰状态发生转变；

(5)雷达判断当前处理的干扰样式是否为最后一种，若不是，则按照如下公式对Q表格进行更新：