[发明专利]一种基于Sarsa学习的中心式动态路径诱导方法

说明书

技术领域

本发明涉及车联网技术和无线通信技术领域，具体来说，是一种基于Sarsa学习的中心式动态路径诱导方法。

背景技术

随着我国社会经济的快速发展和城市化进程的不断加快，城市交通拥挤、堵塞日益严重，交通事故、环境污染导致的直接经济损失也在急剧增加，城市交通问题亟待解决。因此，实现智能、动态的路径诱导成为交通部门与出行者关注的热点内容。

随着无线通信和移动计算技术的迅速发展，网络移动终端已经扩展应用到车载平台上。基于先进的无线通信技术、车联网技术，车辆之间、车辆与交通管控中心之间可以实现高效的数据传输、信息发布功能。基于无线通信技术，车辆与网络后台服务器组建无线数据传输网络，使得集成了移动通信设备的车载终端能够通过无线网络向网络后台服务器传回自身状态以及周围环境的信息，并由交通管控中心在网络平台上对多终端、多元化的数据信息进行加工融合、建模分析与计算、共享和信息查询发布。

近年来，强化学习作为一种由环境状态到行为映射的学习方法被应用到了动态路径诱导中，由于其具有很强的自适应性和自学习能力，适合于描述交通系统这样的复杂环境。而Sarsa学习作为一种强化学习方法适合于车辆动态诱导这种在线系统的学习。

发明内容

本发明的目的，是提供一种基于Sarsa学习的中心式动态路径诱导方法，该方法能为所有车辆提供最优的路径诱导，缓解城市车辆行驶拥堵，提高行车效率。

采用的技术方案是：

一种基于Sarsa学习的中心式动态路径诱导方法，包括下述步骤：

步骤1：初始化Q值表；交通信息中心根据地理信息库中路网信息(路网拓扑结构，路段长度，车道数等)和采集到的各路段车辆通行时间，利用基于Q值的动态规划初始化各个可能目的地d的Q值表。

步骤2：车辆将自身信息及目的地信息通过车联网技术发送到交通信息中心；

步骤3：通过使用结合全局和局部参数控制策略的Boltzmann分布来为每辆车进行路径诱导；

(1)交通信息中心提取步骤2中获得的各个车辆的车载控制单元发送的数据包中车辆位置信息和目的地经纬度信息。

(2)交通信息中心根据车辆位置信息与目的地经纬度信息，在地理信息库中查询当前所驾驶车辆以及目的地所处的路段。

(3)交通信息中心根据当前系统中车辆的数量计算当前τ值，公式如下所示：

式中，τ_max是τ的最大值，NV是当前系统中车辆的数量，l、β是参数。

(4)交通信息中心计算车辆所在路段的相连路段的车道占有率，公式如下：

式中，i,j是交通节点，A(i)是以i为起点的路段的终点集合，N是车辆所在路段的相连路段中车辆的数量，v_n是车辆所在路段的相连路段中第n辆车，length(v_n)是车辆长度，length(S_ij)是路段S_ij的长度，mingap是车辆间的最小间距，numlane(S_ij)是路段S_ij的车道数。

局部控制参数如表1所示由车道占有率决定。

(5)交通信息中心根据车辆所在路段和目的地所处路段从交通信息中心数据库<Q值表>中读取对应当前目的地的车辆所在路段的下一路段的Q值，根据结合全局和局部参数控制策略的Boltzmann分布计算车辆所应行驶的下一路段，公式如下所示：

式中，i,j是交通节点，A(i)是以i为起点的路段的终点集合，P_d(i,j)是车辆选择路段S_ij的概率，Q_d(i,j)是车辆通过路段S_ij到达目的地d的时间的估计，m_i是局部控制参数，取决于交通节点i相连路段的车道占有率，τ是全局控制参数，它取决于系统中总的交通状况，EQ_d(i)是节点i周围路段到目的地d的Q值的平均值。

(6)交通信息中心将上式得到的车辆所应行驶的下一路段，通过无线通讯模块发送到车载控制单元中，最终通过车载控制单元发送到车载导航地图中进行显示。

步骤4：交通信息中心根据车辆数据包获得实时交通信息，具体为：

(1)交通信息中心提取步骤2中车载控制单元发送的数据包的信息，存入交通信息中心数据库车辆信息表中；