[发明专利]一种用于模型推演到智能推演的转化方法

说明书

本发明公开了一种用于模型推演到智能推演的转化方法，将模型推演中对抗单元的模型数字化输入、规则行为的数字化输入和对抗单元行为决策数字化输出转化为智能推演中图像模型的输入和输出；将虚拟环境推演中对抗单元的移动过程、编组分队过程在智能推演中进行离散化采样，转化为图模型的序列图像；将虚拟环境推演的损伤评估转化为智能推演中图像模型的各个单元的损伤和整体的损伤评估；将智能推演中图像模型的输入作为深度强化学习的训练测试模型的输入，深度强化学习的训练测试模型输出动作、策略值向量。本发明将单元行为决策输出转化为可用于深度强化学习的输出，以适应深度强化学习的需求，为智能化推演提供依据。

技术领域

本发明属于对抗推演技术领域，尤其涉及一种用于模型推演到智能推演的转化方法。

背景技术

智能对抗是指在信息对抗的基础上运用智能武器和手段实现以高效指挥化、打击精确化、操作自动化、行为智能化为主旨的高技术对抗形式。从本质上讲，智能对抗是人的智能向信息对抗场地和对抗装备的辐射和延伸。从对抗程序和手段看，智能对抗包括智能化的指挥控制和智能化装备的攻防对抗。智能对抗的主要标志是智能化对抗装备群及智能化对抗手段的出现。

对抗推演由最初的采用单元缩小的模型推演到以计算机为主体的模型数字化虚拟环境推演到智能化推演，智能化推演是在虚拟环境推演的基础上增加智能化部分。针对智能化对抗在虚拟训练推演的研究中，国内常常采用的是模块化设计、功能齐全，然后没有详细的介绍深度学习在智能化推演中的使用。专利号：201811075660.0提出了一种面向多领域可扩展兵棋推演平台，该平台为提高通用性和扩展性，引入兵棋二次开发的设计。专利号：201811313124.X 提出了一种基于深度强化学习的无监督智能对抗推演系统，该方法没有详细的介绍深度强化学习如何在对抗推演系统中使用。

强化学习是人工智能机器学习领域里的一个分支，用于控制一只能够在某个环境下自主行动的智能体，通过和环境之间的互动，包括感知与得到奖励，而不断改进它的行为，而强化学习的目的，就是选择一系列行动来最大化未来的奖励。深度强化学习把神经网络提取复杂高维数据特征的能力融入强化学习，将数据转化到低维特征，便于强化学习处理。众所周知，对抗决策是对抗领域中最复杂、最具挑战的活动，并由此促进了对抗辅助决策支持技术的产生和发展。可以预见，深度强化学习技术的不断进步必将对对抗智能辅助决策领域产生深刻而重大的影响。

发明内容

有鉴于此，本发明的目的是通过把对抗双方的装备单元模型数据、单元行为模型数据输入建模转化为可用于深度强化学习的图像模型，单元行为决策输出转化为可用于深度强化学习的输出，对虚拟环境推演进行图像模型转化，以适应深度强化学习的需求，为智能化对抗单元推演提供依据。

本发明提供一种用于模型推演到智能推演的转化方法，该方法是把模型推演的过程首先转化虚拟环境推演的过程，然后转化为智能推演的过程。虚拟环境推演中的对抗单元的模型数字化输入、规则行为的数字化输入和对抗单元行为决策数字化输出转化为智能推演中图像模型的输入和输出，虚拟环境推演中的对抗单元移动过程、编组分队过程在智能推演中对其进行离散化采样转化为图模型的序列图像，虚拟环境推演的损伤评估转化为图像模型中的各个单元的损伤和整体的损伤评估。

本发明公开的一种用于模型推演到智能推演的转化方法，该方法包括以下步骤：

将模型推演中对抗单元的模型数字化输入、规则行为的数字化输入和对抗单元行为决策数字化输出转化为智能推演中图像模型的输入和输出；

将虚拟环境推演中对抗单元的移动过程、编组分队过程在智能推演中进行离散化采样，转化为图模型的序列图像；

将虚拟环境推演的损伤评估转化为智能推演中图像模型的对抗单元的损伤和整体的损伤评估；

将所述智能推演中图像模型的输入作为深度强化学习的训练测试模型的输入，深度强化学习的训练测试模型输出动作、策略值向量。