[发明专利]一种异构车联网中的智能切换判决方法

说明书

一种异构车联网中的智能切换判决方法，属于车联网通信技术领域，包括：步骤1、搭建问题模型；步骤2、搭建DCRQN架构，主要分为网络环境和决策大脑两部分；决策大脑从网络环境中获得网络的状态信息，即网络接入点接收到的车辆终端的SINR，并对网络状态信息进行处理，然后决策大脑制定决策，并执行决策指令，实现对网络的管理操作，即将车辆终端切换到目标网络；所述决策大脑由三个部分组成，分别为：智能体模块、特征提取模块和决策模块；步骤3、基于DCRQN进行切换决策。本发明方法能够学习车辆终端所处的状态，做出最佳的切换决策，使得车辆终端在整个覆盖范围内的平均吞吐量最高，提高车辆终端的服务质量。

技术领域

本发明属于车联网通信技术领域，具体涉及一种基于DCRQN(Deep ConvolutionalRecurrent Q-network)的异构车联网中的智能切换判决方法。

背景技术

车联网，又可以称作车载互联网、车载网络，是由智能交通领域与物联网领域交互发展融合的产物。车联网已被视为智能交通系统(ITS)和智慧城市发展的重要组成部分。它有望带来一系列全新的应用，从道路安全改善到交通效率优化，从自动驾驶到车辆随时随地的互联网接入。车联网将最终对社会和世界各地数百万人的日常生活产生深远的影响。由于其严格和多样化的服务质量(QoS)需求以及车载环境的动态性，如快速变化的无线传播信道和不断变化的网络拓扑，车联网也带来了不同于传统无线通信系统的新的挑战。为了应对这些挑战，在全球范围内，研究人员开发了各种各样的通信标准，如美国的专用短程通信标准(DSRC)和欧洲的ITSG5标准。最近，第三代合作伙伴计划(3GPP)也启动了一个在长期演进(LTE)网络和未来5G蜂窝系统中支持车辆到一切(V2X)服务的项目。

与此同时，随着高性能计算和存储设施以及各种先进的车载传感器，如激光雷达、雷达和照相机，车辆将不仅仅是一种简单的交通工具。它们生成、收集、存储、处理和传输大量数据，以使驾驶更安全、更方便。这些丰富的数据将必然为探索可靠和有效的车联网的设计提供新的机会。机器学习作为人工智能的一个主要分支，构建了能够在复杂环境中运行的智能系统，在计算机视觉、自然语言处理、机器人等领域都有很多成功的应用。它开发了分析大量的数据的高效方法，这有助于支持未来的智能无线电终端。此外，机器学习代表了一种有效的数据驱动的方法，使其在处理异构数据时具有鲁棒性，因为没有对数据分布做出明确的假设。机器学习提供了一套通用的工具来开发和挖掘车联网中产生的多个数据源。这将有助于系统做出更明智和数据驱动的决策，减轻通信挑战，并提供非传统的服务，如基于位置的服务，实时交通流预测和控制，车辆轨迹预测以及自动驾驶。然而，如何利用这些工具服务于车联网的目的仍然是一个挑战，并代表了一个有前途的研究方向。

发明内容

针对现有技术存在的不足，本发明提出一种基于DCRQN的异构车联网中的智能切换判决方法，该方法能够学习车辆终端所处的状态，做出最佳的切换决策，使得车辆终端在整个覆盖范围内的平均吞吐量最高。

一种异构车联网中的智能切换判决方法，包括以下步骤：

步骤1、搭建问题模型，具体如下：

步骤1-1、将车联网切换问题建模为马尔科夫决策过程。

步骤1-2、定义马尔科夫决策过程的状态空间S，采用网络接收到车辆终端的SINR来表征车辆终端在网络中所处的状态。

步骤1-3、定义马尔科夫决策过程的动作空间A，用不同动作表示将车辆终端切换到不同网络的决策。

步骤1-4、定义马尔科夫决策过程的奖励，以实时吞吐量作为奖励r。智能体通过学习能够获得最大化累积奖励的最优策略，从而使得车辆终端在整个覆盖范围内的平均吞吐量最高。