[发明专利]一种基于拟合强化学习的空战行为建模方法

摘要

本发明提出了一种基于拟合强化学习的空战行为建模方法，解决了虚拟空战仿真中战术动作的智能决策问题。本方法包含：对飞机作战过程的轨迹进行采样；在状态空间中对效用函数进行拟合，通过贝尔曼迭代和最小二乘法拟合对效用函数进行近似计算；作战决策，通过前瞻测试，在预测过程中采用所拟合的效用函数进行动作决策，根据预测的执行结果确定最终执行的动作。本发明方法可有效提高效用函数的拟合效率以及获取效率，相对传统方法，本发明方法能更快地获取最优行动策略。

主权项

一种基于拟合强化学习的空战行为建模方法，用于作战的红方飞机，其特征在于，该空战行为建模方法包括如下三个步骤：步骤1：数据采样；采用轨迹采样法，对飞机作战过程的轨迹进行记录，获取采样点集合X；步骤2：效用函数拟合；首先，选取特征量描述空战状态空间，所有选取的特征量组成一个特征向量，用特征向量表示集合X中的每个状态x；然后，基于采样点集合X，使用贝尔曼迭代以及最小二乘法，进行效用函数的拟合；设效用函数拟合时的循环次数为N，在第k轮循环中执行下面(2.1)和(2.2)，k＝1,2,…,N；(2.1)获得蓝方飞机对于集合X决策的动作向量A_b；(2.2)获得红方飞机的动作向量A_r，以及当前循环下的优化效用$\{A_r,{\tilde{J}}^k\}=\arg \underset{A}{\max }\left\{F\right\}=\arg \underset{A}{\max }\{\mathrm{\&lambda;}\&CenterDot;{\tilde{J}}^{k-1}\left(f(X,A,A_b)\right)+S\left(f(X,A,A_b)\right)\}---\left(1\right)$${\mathrm{\&beta;}}^k={\left({\mathrm{\&Phi;}}^T\mathrm{\&Phi;}\right)}^{-1}{\mathrm{\&Phi;}}^T\&CenterDot;{\tilde{J}}^k---\left(2\right)$${\hat{J}}^k=\mathrm{\&Phi;}\&CenterDot;{\mathrm{\&beta;}}^k---\left(3\right)$其中，A为待选的红方飞机的动作向量，表示求取使得式F的值最大的A，对应得到的最大F值为λ为折扣因子，0<λ<1；表示第k‑1次循环得到的效用函数，S(X)为根据集合X得到的即时回报函数值向量；f(X,A,A_b)表示在状态X下，红方飞机动作向量为A、蓝方飞机动作向量为A_b的情况下到达的下一个状态向量；β^k表示第k次循环中特征向量Φ的拟和系数；根据式(3)得到当前循环下的优化效用第N次循环输出的为拟合得到的效用函数；步骤3：作战决策；对当前的状态x，采用前瞻测试对红方飞机的所有待选动作的执行后果进行预测，选取预测结果最好的动作执行；所述的前瞻测试是一种虚拟执行的方法，以指定的动作开始虚拟推进作战过程，直到完成指定的回合数；前瞻测试的每个回合中红方飞机均采用步骤2得到的效用函数进行动作决策。