[发明专利]基于强化学习的城市场景车联网多播路由方法

说明书

本发明公开一种基于强化学习的城市场景车联网多播路由方法，其步骤为：1)构建车联网；2)车联网中的每个车辆节点周期性地发送HELLO消息包；3)车辆节点更新Q^V表中的Q值；4)车联网中的每个路边节点周期性地发送HELLO消息包；5)路边节点更新Q^C表中的Q值；6)多播组源车辆节点将数据包发送到多播组源路边节点；7)多播组源路边节点将目的路边节点的数据包转发到多播组成员路边节点集合中的每一个路边节点；8)多播组成员路边节点将多播组源路边节点的数据包转发到多播组成员车辆节点集合中的每一个车辆节点。本发明能有效降低端到端时延，可用于城市环境下车联网的多播数据路由。

技术领域

本发明属于通信技术领域，更进一步涉及网络通信技术领域中的一种基于强化学习的城市场景车联网多播路由方法。本发明可用于城市场景下车联网的多播数据路由，采用Q学习方法来动态的选择最优的网络节点进行数据的传输。

背景技术

车联网由安装在车辆上的车载单元和部署在路边的基础设施单元组成，这些单元构成了车联网通信的基本网络单元。车联网中的每一个车辆节点可以直接或通过现有基础设施与其他车辆节点进行无线通信以共享信息，该网络得以高效正常运转依赖于网络内车辆节点具有高可信度且相互间以诚信的协作方式运行。车联网与普通移动自组织网络相比，车辆快速运动不仅导致节点之间的通信链路频繁断连，也使得网络拓扑结构动态变化剧烈；车辆的移动轨迹受限，其位置、运行方向和速度具有一定的可预测性；GPS辅助定位不仅为车辆提供了位置、速度等信息，而且为车辆提供了准确的全球同步时钟，为车辆之间的通信和交互提供了很好的支持。因此，车联网中的数据分发策略需要考虑网络中节点密度分布的不匀均性，并根据不同的网络节点分布调整分发机制。

南京邮电大学在其申请的专利文献“一种基于位置信息的车联网强化学习路由方法”(申请号：202010111133.1，申请公布号：CN 111343608 A)中提出一种基于位置信息的车联网强化学习路由方法。该方法将网络中的车辆节点和路边节点同等对待，网络中的每个节点建立相同的Q表，通过提取由当前节点的邻居节点所传送的HELLO信息包维护Q表，信息包中包含了节点的速度、位置坐标、Q表中的最大Q值等信息。基于信息包，更新当前节点的Q表中邻居节点的Q值，求取邻居节点与目标节点基于位置信息的奖励值。基于当前节点的Q表中邻居节点的Q值、邻居节点与目标节点基于位置信息的奖励值，从邻居节点中选取适配节点作为转发节点。该方法存在的不足之处是：由于该方法对车联网中的车辆节点和路边节点统一处理，在进行Q表更新时忽略了路边节点信道稳定、高带宽的优势，导致进行路由选择时并没有选择到最佳节点，不能充分降低端到端延迟。

西安电子科技大学在其申请的专利文献“车载自组织网络中基于Q学习和电子地图的路由方法”(申请号：CN201710667789.X，申请公布号：CN 107454650 A)中提出一种车载自组织网络中基于Q学习和电子地图的路由方法。该方法节点通过广播HELLO信息包维护节点Q表，信息包中包含了节点地址、节点速度、位置坐标、最大Q值集合等信息。基于HELLO信息包中当前节点的Q表中邻居节点的Q值，结合电子地图计算车流密度，求取奖励值并更新Q表。源节点基于Q表生成并广播路由请求包，中间节点接收路由请求包并更新Q表，并继续广播该路由请求包，直到请求包到达目的节点。目的节点生成路由回复包，并根据Q值表反向传回源节点，中间节点根据回复包中的信息更新Q表，并选择最优的位于交叉路口的路边节点进行转发，如果回复包最终到达源节点，则建立路由路径，进行数据传输，否则，继续转发路由回复包。该方法存在的不足之处是：该方法通过将每个节点的最大Q值通过路由请求包与路由回复包进行传递，最终获得一条确定的通信链路后进行数据包传输，但由于车联网的高动态性，在实际传输过程中网络情况可能已经发生变化，当遇到这种情况时，数据包的传输路径就不是最佳，甚至可能导致网络连通失效。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于强化学习的城市场景车联网多播路由方法，旨在解决现有技术中没有充分利用路边节点的高带宽与稳定性，导致无法有效降低端到端通信时延的技术问题。还解决了现有Q学习路由方法中对于车联网的高动态性适应力不足的问题。