[发明专利]基于深度Q学习的认知无线传感器网络频谱接入方法

摘要

本发明公开了一种基于深度Q学习的认知无线传感器网络频谱接入方法，包括：步骤一、构建Q神经网络：以t‑2时隙的所有信道的状态值为输入层，以t‑1时隙的所有信道的q值为输出层，选择训练样本以更新Q神经网络的权重参数；获取t‑1时隙以前的经验样本并计算优先级，根据优先级累计求和二叉树排列，抽样得到训练样本；步骤二、以t‑1时隙的所有信道的状态值为输入层，输入至Q神经网络，得到t时隙的所有信道的q值，选取最大的q值对应的信道；步骤三、对该信道能量感知，若状态值为“闲”则接入，若状态值为“忙”则不接入。本发明具有能量消耗低、收敛速度快、避免经验样本多样性丧失、避免产生过拟合现象、预测准确性高的有益效果。

主权项

1.基于深度Q学习的认知无线传感器网络频谱接入方法，其特征在于，包括：步骤一、构建Q神经网络：以经验样本中t‑2时隙的所有信道的状态值为输入层，以t‑1时隙的所有信道的q值为输出层，选择训练样本以更新Q神经网络的权重参数，其中，状态值为信道处于“忙”或“闲”的状态的分值，q值表示信道的状态的预测分值；其中，选择训练样本的具体方法为：获取t‑1时隙以前的经验样本，并计算优先级，根据经验样本的优先级进行累计求和二叉树排列，然后抽样得到训练样本；每个经验样本记录上一时隙的所有信道的状态值、下一时隙的所有信道的回报值、下一时隙的所有信道的q值；回报值，为对下一时隙选取的信道进行能量感知，若状态值为“闲”，则为吞吐量，若状态值为“忙”，则为0；优先级的计算方法为：优先级为经验样本的时序误差的绝对值与修正常数的和，时序误差为目标q值与经验样本的最大q值的差值，其中，修正常数为正数；目标q值的计算方法为：设置循环周期T，如果经验样本对应的时隙是T的最后一个时隙，则目标q值为该经验样本的回报值；如果经验样本对应的时隙不是T的最后一个时隙，则目标q值为经验样本的回报值与γ倍的时隙q值的和，时隙q值为以经验样本的状态值为输入值，输入至前一个循环周期的最后一个时隙的Q神经网络的其中一个信道的q值，该信道为经验样本中的最大q值对应的信道；步骤二、以t‑1时隙的经验样本中的所有信道的状态值为输入层，输入至Q神经网络，得到t时隙的所有信道的q值，选取最大的q值对应的信道；步骤三、对选取的信道进行能量感知，若状态值为“闲”，则接入，若状态值为“忙”，则不接入。