[发明专利]基于Q学习的飞行器自组织网络优化链路状态路由机制

说明书

基于Q学习的飞行器自组织网络优化链路状态路由机制，该机制基于节点亲密度、链路质量和剩余能量建立奖励函数计算奖励值，节点根据环境反馈的奖励值对该节点选择下一跳节点的策略进行调整，以减少数据传输的延迟；根据节点移动感知过程计算决定Q值更新快慢的学习速率参数，以保证数据的实时性；利用奖励函数和学习速率构建Q学习优化函数计算下一跳节点的Q值，选择Q值最大的下一跳节点作为转发节点，以提高网络的生存期。该机制利用Q学习算法选择转发节点，能够适用于拓扑结构高度变化的飞行器自组织网络。仿真结果表明，本文提出的Q‑OLSR机制相比于OLSR和QMR在端到端延迟、包投递率和能量消耗方面均有提升。

技术领域

本发明涉及无线通信技术领域，具体说的是基于Q学习的飞行器自组织网络优化链路状态路由机制。

背景技术

近年来，由于飞行器具有部署灵活、用途多样和成本较低等特点，飞行器在军用0和民用0领域得到广泛的应用。为了保证多个飞行器之间高效可靠的通信，飞行器自组织网络(FANET)的路由机制成为了研究的热点。飞行器自组织网络的路由机制主要分为基于拓扑结构、基于地理位置和基于强化学习的路由机制。

飞行器自组织网络中基于拓扑结构的路由机制分为主动式路由机制、反应式路由机制和混合式路由机制。优化链路状态路由机制(OLSR)是基于拓扑结构的主动式路由机制，主动式路由机制是在路由之前先建立好路由表，因此该机制的优点是时延小，但由于飞行器自组织网络是高度动态变化的，在发送数据包之前建立好路由会产生较大的网络开销。为了减少网络开销的问题，文献0提出了基于能量移动感知过程的OLSR路由机制，基于节点速度和剩余能量选择中继节点。文献0提出了EE-OLSR路由机制，在保证QOS的情况下，基于节点的意愿度选择中继节点，延长网络寿命。

飞行器自组织网络中基于地理位置的路由机制主要分为传统的贪婪周边无状态路由机制(GPSR)和以GPSR为基础对路由空洞问题进行改进的一些路由机制。文献0提出了可扩展的预测性地理多播路由机制，通过利用网络优化工具实现了可扩展的预测性地理多播路由机制，然后将可扩展的预测性地理多播路由机制和传统的基于地理位置的路由机制相结合对飞行器自组织网络的路由进行优化。该路由机制在通信范围增加时，单跳预测转发器到达组播目的节点的概率也增加。

为了使飞行器自组织网络实现高效的通信，采用强化学习算法对传统的路由机制进行优化。强化学习的经典算法是Q-learning算法，Q-learning以环境反馈为输入的自适应学习算法，主体可以根据环境反馈的奖励值不断调整自己的行动策略，以更好地适应动态的、不可持续的拓扑结构。文献0提出了基于强化学习的地理路由，它考虑了能量效率、延迟和路由失效期来提高传感器网络的网络性能。文献0在无线自组织网络中使用Q学习算法优化多播路由协议(Q-MAP),该算法分为正向路由发现和反向路由回复两个阶段，并且以分布式建立路由路径。文献0提出了T-OLSR路由机制，利用飞行器的运行轨迹作为已知因子，每个节点在hello消息和拓扑控制消息中共享节点的短期轨迹信息，基于轨迹信息采用Q学习优化OLSR路由机制。

基于上述三类路由机制研究发现，基于拓扑结构的OLSR路由机制，无需等待就可提供源节点到目的节点的传输路径，但会产生一个大的网络开销；基于地理位置的路由机制需要知道自身和目的节点的地理位置为前提，实时获取目的节点的位置信息有一定难度；基于强化学习的路由机制是利用Q学习算法对传统的路由机制进行优化，但传统的Q学习优化算法使用固定的学习率和折扣因子。基于地理位置的路由机制不仅需要提前获取位置信息，而且在数据分组传输时会出现路由空洞问题。

飞行器自组织网络中常用的路由机制有基于拓扑结构路由、基于地理位置路由、基于无信标机会路由和基于强化学习路由。本文主要利用强化学习算法优化基于拓扑结构的OLSR路由机制0。目前，在基于强化学习的路由机制设计方面做了大量的研究工作。在本节中，对与本文研究相关的参考文献进行分析。