[发明专利]基于情绪感染和深度强化学习的人群对抗仿真方法

说明书

本发明涉及人群仿真和强化学习以及统计学领域，尤其涉及一种基于情绪感染和深度强化学习的人群对抗仿真方法；包括步骤：提取所有agent的人数信息；随机给每个agent赋予ID信息、初始位置、初始情绪值、初始奖励值和初始动作；通过初始动作计算获得初始平均生理影响；将人数信息、ID信息、初始位置、初始情绪值、初始奖励值、初始动作和初始平均生理影响输入到神经网络中，获得t时刻agent的动作；依次进行迭代训练若干次；从而当暴乱事件突发时，应用本发明能够快速的为正方提供策略指导，尽快制服反方避免场面失控，并获得较高的收益，从而维护社会的安全；同时该仿真模型对真实的对战演练也具有很大的参考和学习价值。

技术领域

本发明涉及人群仿真和强化学习以及统计学领域，尤其涉及一种基于情绪感染和深度强化学习的人群对抗仿真方法。

背景技术

随着人口的增多，大规模人群聚集，不法分子聚集起来滋事闹事甚至发生暴乱事件的情况频频出现，造成的损失伤亡令人触目惊心。所以如何在短时间且最小化损失的情况下平息战乱，维护社会安全是急需解决的重要问题。目前对于此类问题主要通过预先的人工演习和利用人群仿真模型解决。然而人工演习将耗费大量的资源，并且虽然演习能提高作战技能与熟练程度但对于一些突发的事件有时也不能迅速的想出作战计划。因此我们更倾向于利用仿真模型对人群行为进行研究，从而能够在事件发生时及时给出较优的解决方案。虽然目前人群仿真技术持续发展，在军事、交通及公共安全等多个领域广泛应用，但是对于大规模场景下高密度的人群仿真仍然是一个挑战。若使用传统的方法，在随时间变化的环境中，根据生活经验人为的为agents预先设置整体运动趋势，具体行为动作是不完全合理的，缺乏可靠性和真实性；而使用目前热门技术神经网络，虽然能够令agent(agent指能自主活动的人)自己学习，但是当研究人数过多时可能会造成维度爆炸、难以收敛等问题。因此，目前仍需要一种更加真实合理、易收敛且计算复杂程度低的人群仿真模型对人群行为进行研究，从而当暴乱事件发生时能够迅速对人群的运动进行规划指导。

发明内容

本发明为了解决上述技术提供一种基于情绪感染和深度强化学习的人群对抗仿真方法。解决研究人数过多维度爆炸和难以收敛等问题。

为解决上述技术问题，本发明采用的一种基于情绪感染和深度强化学习的人群对抗仿真方法，包括以下步骤：

步骤1)、提取所有agent的人数信息；

步骤2)、随机给每个agent赋予ID信息、初始位置、初始情绪值、初始奖励值和初始动作；

步骤3)、通过初始动作计算获得初始平均生理影响；

步骤4)、将人数信息、ID信息、初始位置、初始情绪值、初始奖励值、初始动作和初始平均生理影响输入到神经网络中，获得t时刻agent的动作；

步骤5)、通过t时刻agent的动作计算获得t时刻agent平均生理影响；

步骤6)、通过t时刻agent的动作获得t时刻agent的位置和t时刻agent获得的奖励值；

步骤7)、根据初始情绪值计算获得t时刻agent的情绪值；

步骤8)、将人数信息、ID信息、t时刻agent的位置、t时刻agent的情绪值、t时刻agent的动作、t时刻agent平均生理影响和t时刻agent获得的奖励值输入到神经网络中获得t+1时刻agent的动作；

步骤9)、重复进行步骤5)、步骤6)、步骤7)、步骤8)获得t+2时刻的动作，依次进行迭代训练若干次。

优选的，所述的所有agent包括有正方agent、反方agent和受害方agent。