[发明专利]基于Q学习的深度神经网络自适应退避策略实现方法及系统

说明书

本发明提供了一种基于Q学习的深度神经网络自适应退避策略实现方法及系统，包括：步骤1：对无人机网络中的网络节点和网络拓扑结构进行初始化，确定树形网络的簇头节点，对退避策略参数初始化后，广播至全网节点；步骤2：全网节点根据初始化后的退避策略参数来更新本地的退避策略；步骤3：簇头节点根据收到的更新信息进行统计，得出网络公平性指标并形成向量，保存进经验池中；步骤4：簇头节点从经验池中提取向量，输入到深度神经网络进行训练，得到真实Q值，将真实Q值与预测Q值进行对比；步骤5：返回步骤2继续执行，当学习策略趋于稳定符合预设条件时，输出退避策略。本发明提高了无人机节点在动态变化网络场景中的通信性能。

技术领域

本发明涉及无人机自组织网络技术领域，具体地，涉及一种基于Q学习的深度神经网络自适应退避策略实现方法及系统。

背景技术

近年来，无人机(unmanned aerial vehicle,UAV)凭借其多用途，高扩展，和高效率等诸多优势，受到了世界各国的不断重视，无人机自组网已成为新的研究热点。无人机自组网是自组网中的一种特别形式，除了一般自组网的多跳，无中心等特点，还具备一些独有的特点，如高速移动、低密度分布、节点能量强、独特的网络目标等。高速移动的特性将造成网络拓扑频繁变化，进而对网络结构稳定性和协议性能带来冲击；低密度分布使节点之间存在不确定性，无人机一般用于执行特殊任务，运动规律性不强，导致节点的入网及退网更加频繁；节点能量强的原因是无人机上的通信设备由飞机提供空间和能量，这使得无人机自组网时不需额外考虑节点计算能力和能量耗费问题；独特的网络目标表现为无人机网络的连接目标是对等的，此外网络中还需要部分担任数据收集的簇头节点，因此需要支持流量汇聚；网内可能存在多种传感器，传输的业务包括图像，音频视频等，具有时延敏感性高，数据业务量大，数据类型多元化等特点，需要保证相应的通信质量。

由于无人机自组织网络拓扑和业务变化的多变性，网络常常使用基于竞争的MAC层协议进行通信，在基于竞争的MAC层协议中，退避策略是影响协议性能的重要因素。随着近年来无线传感器网络的逐渐发展，网络节点和业务类型不断增加，传统的退避算法如二进制指数型退避算法(BEB)等在变化的网络环境下表现不佳，针对这一问题，出现许多利用增强学习优化MAC协议的退避算法。

Pressas,Andreas,Sheng,Zhengguo,Ali,Falah,Tian,Daxin and Nekovee,Maziar(2018)Contention-based learning MAC protocol for broadcast Vehicle-to-Vehicle Communication.IEEE Vehicular Networking Conference(VNC),Italy,27-29November 2017，此文针对车载互联网通信设计了一种基于Q-Learning和802.11p的MAC协议，其智能调整的对象是CW，即回退窗口。其观测的状态值S是CW大小，动作是CW的乘2、除2或不变，使用Q-Learning方法，对回退窗口进行了调整，缺点是由于其观测的状态是CW值大小，而没有观测环境信息，导致智能体没有直接与环境互动，不能依据环境情况的变化进行动作的选取，同时动作的可选数目过少，使得仿真性能受到限制。

S.Lohier,Y.GhamriDoudane,G.Pujolle.MAC-layer Adaptation to ImproveTCP Flow Performance in 802.11 Wireless Networks[J].2011，此文通过调整mac层中的重传上限次数，来降低由于不当触发TCP拥塞控制机制导致的性能下降，规定，当数据率超过12Mbps时，RetryLimit＝6(节点靠近AP)，当数据率小于12Mbps大于6Mbps时，RetryLimit＝12，当数据率小于6Mbps时，RetryLimit＝18。此文的缺点是使用手动设置门限对重传次数进行调整，不具有普适性。