[发明专利]基于Q学习的节点数量可变水声网络介质访问控制方法

说明书

基于Q学习的节点数量可变水声网络介质访问控制方法，涉及水声网络。将汇聚节点搜集水声传感器节点所感知数据的传输过程分为若干个时隙，运用Q学习算法，结合汇聚节点的反馈信号、传感器节点数量变化情况，通过合理设置奖励机制，针对Q矩阵的一整行(即子矩阵)进行整体的奖励子矩阵设计，而非逐个元素更新Q矩阵，将时隙合理分配给各传感器节点，使数据在传输过程中不会受到其它传感器节点的影响，避免汇聚节点数据搜集冲突。本发明所提方法具有学习速度快、吞吐量高、能耗节约、抗干扰能力强的特点，可解决节点死亡或者位置漂移导致的节点减少时的时隙冗余问题或节点增加时的时隙不足问题，确保水声数据传输的成功率和水声网络高吞吐量。

技术领域

本发明涉及水声网络，尤其是涉及一种基于Q学习的节点数量可变水声网络介质访问控制方法。

背景技术

近年来，无论是在军事方面还是在民用方面，占据地球表面积71％的海洋日益成为世界关注的焦点。作为海洋物联网的重要组成部分，水声网络也逐渐成为重要的研究热点之一。

水声网络由大量电池供电的水声传感器节点构成，然而在海洋环境下，节点的电池更换难度大、成本高，且水声信道传播时延长、信道容量小、可靠性低。这要求水声网络进行数据传输必须采用高效节能的协议。水声网络介质访问控制协议是，多个用户/节点共享同一水声信道介质，分配介质使用权的协议，是水声网络进行正常工作的重要协议。

针对水声网络数据传输能耗高、海洋信道条件不稳定的问题，Ahmed等(Ahmed F,et al.,A Time-Slotted Data Gathering Medium Access Control Protocol Using Q-Learning for Underwater Acoustic Sensor Networks[J].IEEE Access,2021,9(1):48742-48752.)从能耗和复杂度等角度出发，将Q学习算法用于水声网络介质访问控制协议，允许节点智能选择退避槽，并相应调度数据包传输，以避免数据传输冲突。但该协议存在收敛速度慢、抗干扰能力弱、节点数量无法大动态变化等问题，且在节点数目较多的水声网络，其性能也会有所下降。当前，水声网络和人工智能的结合大部分集中在路由优化设计方面，仅有个别研究关注其在介质访问控制协议方面的研究。目前，Q学习与水声网络介质访问控制协议结合的研究中，尚未见海洋信道环境动态变化导致可接入节点数量变化时，如何优化Q学习设计，以确保水声网络维持高吞吐量、快学习速度和强鲁棒性的方法。

发明内容

本发明的目的在于针对水声网络能耗有限、吞吐量低和海洋信道环境大动态变化等问题，利用Q学习算法，通过优化设计奖励机制，提供一种拥有高学习速度和节能的介质访问控制方法，在水声网络节点数量变化的情况下，仍可实现复杂度低、吞吐量高、抗干扰能力强的新型介质访问控制协议，优化水声信道介质资源使用权分配方案，提升网络性能的基于Q学习的节点数量可变水声网络介质访问控制方法。

本发明包括以下步骤：

1)参数初始化：

考虑一个水声网络，包含M个传感器节点(以下简称“节点”)和1个信宿(以下简称“信宿”)，节点从海洋环境中感知信息，信宿负责搜集节点感知的声学数据。