[发明专利]一种基于强化学习与随机优化算法的天线阵列设计方法

说明书

本发明公开了一种基于强化学习与随机优化算法的天线阵列设计方法：步骤1，选取随机优化算法，建立待优化初始天线阵列模型；步骤2，设计适应度函数；步骤3，在MATLAB中编写VB脚本；步骤4，创建多个HFSS线程来并行处理VB脚本，得到与随机粒子对应的结果；步骤5，迭代产生多组xt；步骤6，利用多组xt得到所有适应度函数的最优解作为训练集；步骤7，设计Q‑Learning算法对训练集进行训练得到Q表；步骤8，将新缓存奖励与Q表输入Q‑Learning算法得出待设计天线阵列的最优结果。本发明的方法无需额外人为干预，完全依靠强化学习的智能体来对天线优化结果做出判断，相较于传统的天线优化设计方式，本发明的方法整体效率提高到50％以上。

技术领域

本发明属于天线阵列优化应用领域，涉及一种基于强化学习与随机优化算法的天线阵列设计方法。

背景技术

随着无线通信技术的发展，通信设备已经走入千家万户，成为人们日常生活中的一部分。而天线作为无线通信系统中的一个重要媒介，其性能的好坏直接影响到整个无线通信系统的传输质量。单个天线可以实现基本的电磁波辐射以及信号的无线传输，但是对于一些特定的功能以及性能的大幅提升，单个天线就显得有点捉襟见肘。而阵列天线，可以完美的弥补单个天线的缺点，既可以大幅提高天线的辐射增益，还可以实现波束赋形等对于特定场景下需要实现的功能。

天线阵列最明显的优势就在于其高增益和方向性，在点对点的通信系统中，往往要求天线具有较强的方向性，也就是要求天线能将绝大部分能量集中到一点发送出去，这样既实现了方向性也实现了高增益。对于方向性的调整，反映到天线上就是相位的调整，而对于阵列来说，相位的调整就涉及到了较多的参数，当阵元较多或优化目标较为复杂时，人为调整的方法就显得过于缓慢，因此我们使用一些常用的随机优化算法对天线的部分参数进行优化，常用的随机优化算法有粒子群算法、模拟退火算法、差分进化算法等。

算法优化参数相对于人力来说速度有了很大方面的提升，但无论是采用哪种随机优化算法，由于天线最优目标很难一次描述出最优的适应度函数来用于优化，因此设计人员在进行天线阵列优化的过程中需要多次观察设计出适应度函数优化后的最优结果来修函数参量，而每次修改适应度函数进行优化都需要几个或几十个小时的优化时间。特别是对于多参数，多目标的优化过程来说，由于涉及的变量较多，人工操作可能需要尝试很多次才可以达到一个较优的结果。因此这种方式由于始终需要人为的干预对适应度函数进行不断的调整，其在优化时间上来说是比较漫长且随机，优化效率低。

发明内容

针对上述传统优化算法进行阵列优化设计的效率低的问题，本发明的目的在于，提供一种基于强化学习与随机优化算法的天线阵列设计方法。

为了解决上述技术问题，本发明采用如下技术方案予以实现：

一种基于强化学习与随机优化算法的天线阵列设计方法，具体包括如下步骤：

步骤1，选取随机优化算法，使用HFSS建立待优化初始天线阵列模型并仿真导出对应的辐射与散射结果x；

步骤2，设计适应度函数f(x)＝a1*f1+a2*f2+…+an*fn，根据匹配 f1-fn的量级的需要，确定a1-an的取值分别为[a1₁-a1_k]、[a2₁- a2_k]…[an₁-an_k]；

式中，x包括阵列的辐射方向图x₁与散射方向图x₂；f1-fn分别为评价x的不同评价函数；a1-an分别为不同评价函数的系数，共有kⁿ个适应度函数；

步骤3，在MATLAB中编写选取的随机优化算法，按照随机优化算法的初始随机粒子编写多个VB脚本；运行步骤4.2；

步骤4，创建多个HFSS线程来并行处理VB脚本，得到与随机粒子对应的一组辐射和散射结果xt，具体包括如下子步骤：