[发明专利]基于Q学习的节点数量可变水声网络介质访问控制方法

权利要求书

1.基于Q学习的节点数量可变水声网络介质访问控制方法，其特征包括以下步骤：

1）参数初始化：

考虑一个水声网络，包含M个传感器节点和1个信宿，节点从海洋环境中感知信息，信宿负责搜集节点感知的声学数据；

设信宿的数据搜集过程分为N个时隙，为确保每个节点都拥有一个时隙将数据发送给信宿，可令时隙数N与水声网络节点数M相等；设Q学习算法中，应用于介质访问控制的Q矩阵为M×N的矩阵，Q矩阵的行m表示节点序号，m的取值为1,2,…,M；Q矩阵的列n表示时隙序号，n的取值为1,2,…,N；因此，Q(m,n)表示节点m选择第n个时隙发送数据这一动作所对应的Q值；Q值越大表示节点m选择第n个时隙发送数据的优先度越大；即，节点m会选择Q矩阵第m行中Q值最高的时隙发送数据；若第m行中出现多个相同的最高Q值，则会在第m行最高Q值的多个时隙中随机选择一个时隙发送数据；为降低节点运算复杂度，每个节点内部只需存储表示自己选择发送时隙的那一行子矩阵，即节点m只需存储大小为1×N的子矩阵Q_m，其中Q=[Q₁; Q₂; …; Q_m; …; Q_M-1; Q_M]；设每个节点的数据帧格式相同、长度相同，时隙的时间长度也相同，且时隙的时间长度等于水声最大传播时延加数据帧长度；

初始化迭代次数i=0，最大迭代次数为K，初始Q值表为M×N的零矩阵；

2）当数据搜集开始，信宿记录各个时隙的接收情况；若在某个时隙内没有成功接收到完整数据，信宿会记下该时隙为未成功；在传输结束时，信宿会广播一个反馈信号给所有节点；该反馈信号，包含网络内的时隙数N和未成功的时隙信息；

3）奖励机制设计：

当收到信宿的反馈信号之后，节点m会根据发送时自身选择第n个时隙发送数据这一动作，结合反馈信号里的未成功时隙信息，Q矩阵的第m行就是节点m内部存储Q矩阵的子矩阵Q_m，针对Q矩阵的第m行获得不同的奖励子矩阵R_m(m,:)；R_m(m,:)表示节点m选择第n个时隙发送数据这一动作后结合反馈信号而获得的奖励子矩阵；

奖励子矩阵R_m(m,:)的设置如下：

①若节点m所选择的第n个时隙发送成功，且n≠N ，即第n个时隙不是最后一个时隙，那么奖励子矩阵R_m(m,:)中的元素R_m(m,n)为正值+|Ψ|，以确保Q_m(m,n)值增加；

②若节点m所选择的第n个时隙发送成功，且n=N，即第n个时隙是最后一个时隙，那么奖励子矩阵R_m(m,:)中的元素R_m(m,n)为负值-δ·|Ψ|，其中δ属于(0, 1)，以确保Q_m(m,n)值缓慢变化，最后略低于零；

③若节点m所选择的第n个时隙发送失败，那么奖励子矩阵R_m(m,:)中的元素R_m(m,n)为0，以确保Q_m(m,n)值趋于0；

④若是节点m选择第n个时隙以外的时隙n_其它发送成功，那么节点m的奖励子矩阵R_m(m,:)中的元素R_m(m, n_其它)为负值-|Ψ|，其中n_其它≠n，以确保Q_m(m, n_其它)值减小；

⑤若是节点m选择第n个时隙以外的时隙n_其它发送失败，那么奖励子矩阵R_m(m,:)中的元素R_m(m, n_其它)为0，其中n_其它≠n，以确保Q_m(m, n_其它)值趋于0；

4）按照Q学习公式Q_m(m,:) ← (1-γ)·Q_m(m,:) + γ·R_m(m,:)更新Q值表，其中，γ是学习速率，取值为(0, 1]，子矩阵R_m是大小与子矩阵Q_m相同的奖励子矩阵；

5）i=i+1，若达到最大迭代次数K或Q值表不再变化或反馈信号中无未成功的时隙信息，则到达稳定状态，否则重复步骤2）至步骤4）；

6）根据迭代得到的最终Q值表，让节点m选择Q值最大所对应的时隙n_max发送数据给信宿，完成水声信道介质资源使用权分配任务。