[发明专利]一种无线传感器网络参数自适应调节方法

说明书

本发明公开了一种无线传感器网络参数自适应调节方法，使用星型网络拓扑模型，传感器网络由传感器节点与协调器构成，节点用于采集传感器数据，协调器作为整个传感器网络的汇聚设备，用于收集节点上传的传感器数据。无线传感器网络通信中采用的是基于时隙CSMA/CA的802.15.4协议，并利用Q‑learning学习算法对协议的参数设置进行动态优化，可以有效地解决802.15.4协议对位置网络环境的适应性问题，并在提高网络服务质量的同时，有效地降低了网络的开销，使其成为一种适应性强、实时性高、服务质量好的无线传感器网络的优化方法。

技术领域

本发明涉及无线传感器网络的MAC层接入技术和Q学习算法，基于 IEEE 802.15.4通信协议中基本的MAC接入机制CSMA/CA技术，通过Q学习算法对该接入机制的重要参数进行调节，从而优化无线传感器网络的服务质量。具体是一种无线传感器网络中基于分布式Q学习的参数自适应调节方法。

背景技术

在低时延确定性的无线传感器网络中，基于CSMA/CA接入机制的802.15.4 协议得到了广泛应用。但由于CSMA/CA是竞争型的MAC协议，各个节点在接入信道和发送数据的时候可能会发生碰撞，因此需要进行空闲信道检测、退避和重传。在标准的CSMA/CA机制中，退避和重传次数一般设为默认值，并且无法针对不同的网络进行动态设置，这就造成了在某些信道状况不佳、服务质量要求较高的通信环境中无法满足要求的问题。由于应用的需要，目前对MAC层接入协议的研究中，也提出了一些调节网络参数以适应通信指标要求的调节方法。这些调节方法多数需要由传感器节点根据通信质量向协调器节点发送配置请求帧，请求分配相应的通信资源，而协调器根据各个节点发送的请求帧为节点分配优先级或时隙。这种优化方法的优点是协调器可以根据节点信息的重要性提供差异化服务，并且分配专用时隙可以有效地避免因为碰撞造成的丢包等问题。但由于增加了配置请求帧和配置帧的，导致网络整体的能耗以及通信的复杂度大大上升，对于使用电池供电的传感器节点来说，会导致网络的寿命缩短。因此，一个可以对网络参数进行自适应调节的接入机制优化方法是迫切的现实需求。

在现在的自适应调节方法中，各种学习算法是研究的热点。其中Q学习算法由于是无模型的学习算法，可以有多个代理，学习机制是分布式的，并且算法复杂度较低，因此得到了广泛的应用。使用Q学习算法的应用由于无需和环境中的其他智能体进行信息交换，而是通过自身获得的奖励对每个“状态-动作”对的 Q值进行更新。

考虑到无线传感器网络是一种能量有限并且低时延确定性的网络，结合Q 学习算法来优化网络的有效传输率和时延显得十分有应用价值。

发明内容

本发明提出一种无线传感器网络中基于Q学习的参数自适应调节方法，该方法结合CSMA/CA接入机制的特点来满足网络有效传输率和时延的要求，采用Q 学习算法，可以有效地提高算法的收敛速率，减少计算的复杂度，是一种开销较小的参数设置方法。

一种无线传感器网络中基于Q学习的参数自适应调节方法，以网络通信时延 D以及网络有效传输率R作为目标函数，以传感器节点作为智能体，以无线传感器网络的环境状态作为Q学习的环境状态集合S，每次通信中各个节点的通信参数的设置动作作为智能体代理的动作集合A，以传感器网络节点所采用的通信参数与其的通信时延以及有效传输率之间的对应关系作为各个传感器节点的瞬时反馈奖励函数，采用分布式Q学习迭代算法对网络中各个节点的通信参数进行设置，在迭代过程中设置探索策略函数。

由于假设环境状态不发生改变，因此转移概率公式和Q值函数的迭代公式属于已知公式。