[发明专利]基于混沌与强化学习的交通流预测的并行方法

说明书

本发明提出一种基于混沌与强化学习的交通流预测的并行方法。包括：1.对数据进行预处理和混沌分析，通过混沌模型生成对比混沌时间序列，进行重构，标准化及数据集划分；2.使用预处理后的数据进行强化学习训练和对比环境的构造；3.构造actor‑critic神经网络模型进行智能体策略的学习和行为价值的判断；4.并行框架下从进程产生多个训练模型与环境进行互动，通过与主进程的中央神经网络模型的离散度对比和奖励实现并行更新，最后主进程进行预测验证。本发明采用强化学习和混沌时间序列对交通流进行预测，比传统统计学预测方法具有更强的解释性和在线调整的学习能力；并行的强化学习更快速地学习和调整，产生最佳的预测结果。

技术领域

本发明属于混沌理论,强化学习,并行计算领域,尤其涉及一种基于混沌与强化学习的交通流预测的并行方法。

背景技术

随着经济水平的发展,中国私家车的拥有量急剧增加,道路交通情况变得更加复杂,因此对于交通流的预测变得十分重要。通过对交通流的预测可以提前对道路情况进行规划并最大程度保证交通情况的通畅,并且随着大数据环境以及智慧城市系统的发展,对于交通流预测数据的收集以及对预测方法的动态调整越来越具有实时性。目前对于交通流的预测一种是采用传统的统计学方法通过对历史交通流数据的分析进行概率计算从而进行预测,另一种是将交通流信息看作一般的时间序列信息通过机器学习和深度学习模型对未来的交通流进行预测。

混沌时间序列预测作为混沌理论研究的重要部分,随着混沌理论的发展,对混沌时间序列预测的研究也越来越深入。由于其具有的混沌特性和动力学信息,可以通过相空间重构的非线性映射来近似地还原混沌系统来进行对下一步的预测,并且混沌时间序列具有其他模型所不具有的优点,例如可以直接根据序列自身的客观规律进行预测,避免了人为主观性的因素对预测结果和预测精度的影响,以及具有良好的适应性。目前已经被应用到天气,金融,以及电力负载等方面,并且交通流的时间序列数据同样具有混沌特性,因此对于交通流的预测同样可以采用混沌时间序列的预测方法进行预测。

目前由于通过混沌时间序列对交通流进行预测的方法主要采取通过混沌理论进行相空间重构和深度学习的模型结合的方式。但这种方式的研究目前较少,这主要是因为一方面混沌时间序列的时间延迟和嵌入维度选取对预测的结果具有很大影响,另一方面基于深度学习的模型对于混沌时间序列的混沌特性学习能力较差,容易产生结果过拟合和连续预测结果不准确等问题。

强化学习与传统的深度学习和机器学习不同,当对模型进行输入数据时,模型并不知道最佳的输出而是通过与环境交互获得的奖励来进行动作策略的调整,从而学习到应对环境反应的最佳动作。因此强化学习适合于学习可以对环境产生最大奖励的决策行为,目前强化学习已经在游戏领域以及在线推荐等领域有了成熟的研究成果,在对于时间序列的预测领域已经逐渐有人开始进行金融时间序列的尝试,即利用股价时间序列信息为环境,学习买入和卖出的行为。对于交通流的预测因为环境的复杂情况,以及对预测结果的准确要求,目前尚且缺少使用强化学习方法的研究,但是由对股票时间序列的强化学习研究可以看出使用强化学习方法进行预测是可行的。

随着强化学习与深度学习研究的深入以及研究问题的环境和动作空间的复杂化,越来越多的学习过程开始与并行计算框架进行结合来实现更加快速和高效的学习。但是由于大部分的并行计算框架针对的是大数据背景下的问题,对于强化学习模型的学习和频繁的参数更新呈现出构造复杂和并行化程度不够高等问题。而由伯克利开源的Ray框架很好的解决了这些问题,Ray框架与目前流行的TensorFlow,PyTorch和Keras等深度学习框架完全兼容,可以在框架中使用一个或多个深度学习框架进行强化学习的训练,并且Ray拥有Rllib(可扩展强化学习库)可以方便地进行参数的搜索。Ray框架还为强化学习提供灵活的任务嵌套,可以在运行时灵活的更改,并且支持任务共享神经网络的参数权重以实现更加灵活和迅速的策略调整。Ray框架作为科学计算的并行框架,可以使程序更加注重计算本身的逻辑性和灵活性,使得单进程的强化学习模型只进行少量的改动就可以在Ray框架内变成多进程的并行程序,从而提高程序的运行效率。

发明内容