[发明专利]基于快速梯度下降的单交叉口信号控制的交通状态对抗扰动生成方法

说明书

一种基于快速梯度下降的单交叉口信号控制的交通状态对抗扰动生成方法，根据已有的强化学习DQN算法训练的交通路口信号灯控制模型，利用基于FGSM攻击并结合梯度值大小对对抗扰动进行离散化处理生成对抗样本，将对抗扰动与原始状态相结合得到最终的扰动状态输入到智能体模型中，最后在sumo上对单交叉路口的流畅或拥堵程度检验效果。本发明可以在使输出的扰动具有物理意义的情况下限制扰动的大小，从而高效的生成对抗状态，增加路口的排队长度和等待时间，大幅降低模型的性能，使交通路口流通度大大降低。

技术领域

本发明属于智能交通与机器学习信息安全的交叉领域，涉及基于快速梯度下降(FGSM)的单交叉口信号控制的交通状态对抗扰动生成方法。

背景技术

交通拥堵问题已成为城市交通面临的迫切挑战，设计现代城市时，最关键的考虑因素之一就是开发智能交通管理系统。交通管理系统的主要目标是减少交通拥堵，如今这已成为大城市的主要问题之一。高效的城市交通管理可节省时间和金钱，并减少向大气排放的二氧化碳。

强化学习(RL)作为交通信号控制问题的一种机器学习技术，已经产生了令人印象深刻的结果。强化学习不需要事先对环境有全面的了解，例如交通流量。相反，他们通过与环境进行交互能够获取知识并为环境动力学建模。在环境中执行每个操作后，它将获得标量奖励。所获得的报酬取决于采取的行动的程度，而智能体的目标是学习最佳控制策略，因此通过与环境的反复交互，可以使折价的累积报酬最大化。深度强化学习(DRL)由于具有快速适应周围环境的出色能力，因此在现实世界中具有众多应用。尽管DRL具有很大的优势，但它容易受到对抗性攻击，例如：引诱攻击、策略定时攻击、基于值函数的对抗攻击、木马攻击等。

发明内容

为了克服已有技术的不足，本发明提供了基于快速梯度下降的单交叉口信号控制的交通状态对抗扰动生成方法，可以对车辆数量及其所处位置添加少量扰动且保证扰动具有实际物理意义，从而高效地生成对抗扰动，大幅降低模型的性能和交通路口流畅程度。

本发明解决其技术问题所采用的技术方案是：

一种基于快速梯度下降的单交叉口信号控制的交通状态对抗扰动生成方法，包括以下步骤：

步骤1：在单交叉口道路网格上训练强化学习Deep Q Network(DQN)智能体模型，训练完成后模型的网络参数不再发生变化，且具有较高的迁移性，在单交叉口测试过程中体现出高流畅度且无拥堵发生；

步骤2：在交通路口获取各个路口输入端的车辆数量及其所处位置即输入，将当前车辆数与位置输入到模型中，会生成对应的交通信号灯即输出动作，利用FGSM攻击算法，对各个时刻的输入逐一进行攻击，得到相应的对抗扰动；

步骤3：对生成的对抗扰动进行离散化处理，再将生成的对抗扰动与原始采集到的交通流量相结合得到最终的扰动状态即此时输入到模型中去的交通路口车辆数量及其位置；

步骤4：在当前构建的扰动状态中，对扰动的大小进行限制，当扰动量小于扰动限制时将扰动状态输入模型中；当扰动量大于扰动限制时将原始状态输入模型；

步骤5：对生成的对抗扰动进行性能的测试，将状态输入模型后，智能体会根据当前状态选取交通信号灯的相位，来控制单交叉口的车流量，最后在sumo上对不同输入状态的交通流量得到的红绿灯相位对交通路口的流畅度进行对比。

作为人工智能领域的研究热点，深度强化学习(DRL)在机器人控制，计算机视觉，智能交通等各个领域都取得了一定的成功。同时，其遭到攻击的可能性以及它是否具有强大的抵抗能力也成为近年来的热门话题。因此，本发明在深度强化学习中选择了具有代表性的Deep Q Network(DQN)算法，将单交叉口信号灯控制作为应用场景，并采用快速梯度下降法(FGSM)攻击DQN算法以生成对抗样本。