[发明专利]一种基于混合决策模型的小型无人机防控决策方法及系统

说明书

本发明公开了一种基于混合决策模型的小型无人机防控决策方法及系统，方法包括：获取小型无人机位置运动信息，构建其三自由度质点运动模型；构建小型无人机防控规则模型，使用小型无人机防控规则模型和三自由度质点运动模型描述小型无人机防控步骤；依据马尔科夫决策过程构建状态空间S，动作空间A，奖励函数R；建立基于dueling结构的D3QN网络，训练及优化防控决策模型；根据防控决策模型，更新小型无人机防控规则模型。本发明构建小型无人机防控混合决策模型，能够有效提升遂行防控任务的小型无人机防控系统自动化水平，解决现有小型无人机防控指挥决策中存在的决策速度慢、难以处理复杂场景等问题，满足防控小型无人机的指挥决策需求。

技术领域

本发明属于指挥控制技术领域，特别涉及一种基于混合决策模型的小型无人机防控决策方法及系统。

背景技术

随着“低慢小”无人机的快速发展与应用，对各国的公共安全、国家安全产生了极大的威胁。在民用领域，无人机严重扰乱了空管秩序；在军事领域，无人机更是成为了一种新兴作战武器，在局部地区冲突中取得了较好的打击效果。因此，世界各国正在加快对反无人机技术及手段的研究，其中，指挥决策需协调控制多源探测与多元处置手段来防控目标并评估防控效果，是目前反无人机技术及手段中的核心难点。但目前已有的防控系统存在以下问题：(1)小型无人机防控环境复杂，现有的决策体制和流程难以适应；(2)决策时间较短，人工操作反应慢，且难以应对多目标。

Alpha Go的出现有效促进了深度强化学习的发展，深度强化学习可将具体想定下的作战任务抽象化为序列决策问题。基于深度强化学习的指挥决策方法能够充分扩展传统的防控规则，并能够即时进行防控策略的效能分析。但是，基于深度强化学习的指挥决策也存在部分问题：(1)在小型无人机防控等实际问题场景中，深度强化学习需要大量与环境交互所产生的训练样本；(2)基于深度强化学习的指挥决策模型没有初始经验，首先在庞大的策略空间中随机探索，探索效率低，导致训练周期长，学习速度慢。

尽管防控任务等知识庞杂，无法建立一个规则种类齐全、智能化的专家系统。但传统的基于专家规则的指挥决策方法，能够将大量的经验知识有效组织起来，用于实际问题的分析求解。同时，将这些经验知识以一定方式融入到过程来指导智能体的探索，可避免许多无效的探索，并加快防控决策智能体的训练速度，提升最终的效果。例如DeepMind提出的Alpha Star，采用了规则对决策智能体进行预训练，再采用深度强化学习训练，取得了一定效果。

基于专家规则与基于深度强化学习的指挥决策方法各有利弊，二者结合是高效求解复杂决策问题的有效手段。专家规则和深度强化学习相结合的方法为小型无人机防控场景中的决策问题提供了一种新思路、新方法。

发明内容

本发明提出了一种基于混合决策模型的小型无人机防控决策方法，包括：

获取小型无人机位置运动信息，构建小型无人机的三自由度质点运动模型；

构建小型无人机防控规则模型，使用小型无人机防控规则模型和三自由度质点运动模型描述小型无人机防控步骤；

依据马尔科夫决策过程构建状态空间S，动作空间A，奖励函数R；

建立基于dueling结构的D3QN网络，训练及优化防控决策模型；

根据防控决策模型，更新小型无人机防控规则模型。

进一步地，所述构建小型无人机的三自由度质点运动模型包括：

以地面防控中心为原点，将小型无人机视为质点，其三自由度质点模型为：

其中(x,y,z)表示小型无人机在以地面为参考系三维空间的坐标；v，θ和ψ分别表示小型无人机的速度、俯仰角和航向角。

进一步地，所述依据马尔科夫决策过程构建状态空间S，动作空间A，奖惩函数R包括：