[发明专利]一种基于DDQN的无线网络自选择协议的方法

说明书

本发明涉及一种基于DDQN的无线网络自选择协议的方法，针对当前无线网络环境复杂及众多协议融合的情况。该方法包括如下步骤：通过环境代理模块实时获取当前网络环境质量参数及确定节点业务类型；在1)的基础上对数据进行降噪，归一化处理，通过层次分析法确定节点业务类型，进行特征提取；在2)的基础上，把数据输入到DDQN决策网络中实时训练，应用执行结果，使网络状态趋于稳定。本发明无需对数据进行预处理直接进行特征提取，将获得的历史数据作为训练数据，利用深度学习的强大优势，有效提高强化学习算法的学习速度和决策性能。

技术领域

本发明涉及一种在异构无线网络下网络协议自选择的方法，针对当前无线网络环境复杂及众多协议融合的情况。

背景技术

随着网络技术的不断发展，当今世界上广泛应用的网络技术产生大量的重叠，当前的网络环境WLAN和蜂窝网络是最为常见的异构网络组合，在现代信息通信中也起到了重要的作用，运营商也在用户密集区如商场、学校、办公楼部署了自己的WLAN热点用于分散蜂窝网络造成的压力。

下一代的异构网络，是一种融合多种协议但环境复杂的网络，需要在任何时间，任何地点对用户提供可靠的网络服务。但是在这点实现之前，需要网络环境的成熟，要解决无线网络覆盖，网络自配置，网络设备的自动管理等功能。在即有的网络环境下，实现单一网络协议完成以上配置还有一定的困难，但可以通过一些算法来实现对当前异构网络的资源综合调度，高效的利用异构网络资源的切换将逐渐成为研究的热点。随着无线通信的进一步发展，将会对异构网络的可扩展性和灵活性提出一定的要求。

强化学习作为一种在非确定环境下能够做出符合发展环境要求决策的一种工具，能够根据网络动态变化进行有针对性的调整，使异构无线网络能够成为一种自动适应用户场景变化的方案，优化网络环境。强化学习是机器学习的一种，主要通过智能体(Agent)在环境(Environment)中不断的进行调整，最终可以实现某个特定指标(Reward)的最大化，在无线网络中，由于节点的移动，以及节点之间的相互干扰，使网络环境变得复杂，相对于传统的机器学习算法，深度强化学习具有着更大的潜力及更高的准确度，无需对数据进行预处理直接进行特征提取，将获得的历史数据作为训练数据，利用深度学习的强大优势，有效提高强化学习算法的学习速度和决策性能。

发明内容

针对以上现有网络的特点，本发明提供一种基于DDQN(Deep ReinforcementLearning with Double Q-learning)的无线网络自选择协议的方法。包括：网络质量数据的处理方案；基于深度学习的特征提取方案；基于DDQN 的网络协议选择方案。本发明的目的通过以下技术方案来实现。

一种基于DDQN的无线网络自选择协议的方法，该方法包括如下步骤：

1)通过环境代理模块实时获取当前网络环境质量参数及确定节点业务类型；

2)在1)的基础上对数据进行降噪，归一化处理，通过层次分析法确定节点业务类型，进行特征提取；

3)在2)的基础上，把数据输入到DDQN决策网络中实时训练，应用执行结果，使网络状态趋于稳定。

1.一种基于DDQN的无线网络自选择协议的方法，其特征在于包括以下步骤：

第一步：通过环境代理模块实时获取当前网络环境质量参数及节点业务类型确定状态、动作及奖励值；

状态空间定义：在t时刻一个终端的状态状态空间S的定义为s_mn∈S，表示终端m接入了第n个网络并在网络中进行信息交互时的状态；其状态空间为：

S＝s₁,s₂,…,s_mn (1)

状态定义：使用平均吞吐量T、时延D、信号强度P、节点距离W来描述网络状态，则网络质量Φ表示为：