[发明专利]用于定向天线自组织网络的智能邻居发现方法及装置

权利要求书

1.一种用于定向天线自组织网络的智能邻居发现方法，其特征在于，包括以下步骤：

利用定向天线的收发模式及扫描方式构建强化学习模型；

根据所述强化学习模型中的Q值表，并采用∈-greedy算法选择定向天线自组织网络中的节点的收发模式与扫描方向；

根据所述节点的收发模式发送或侦听握手包，并基于所述握手包进行三步握手交互；

通过节点检测交互过程中握手包的冲突，根据冲突信息及所述收发模式确定所述强化学习模型中的奖励值；以及

根据所述奖励值和预设学习算法更新所述强化学习模型中的Q值表；

所述利用定向天线的收发模式及扫描方式构建强化学习模型，包括：

控制所述定向天线按照扫描序列进行扫描，基于所述扫描序列的序列号进行所述强化学习模型中的状态建模；

选取发送或接收模式以及所述扫描序列中的指向信息，确定所述强化学习模型中的动作建模；

基于发送模式、接收模式、与所述扫描序列同向信息和/或反向信息确定所述强化学习模型中的状态空间建模；

所述根据所述节点的收发模式发送或侦听握手包，并基于所述握手包进行三步握手交互，包括：

处于发送模式的节点在第一个子时隙发送带有本节点ID的握手包，并且在第二个子时隙进行侦听，其中，若在所述第二个子时隙正确收到其他节点的握手包，则在第三个子时隙进行回复确认握手包，若在所述第二个子时隙检测到冲突握手包，则在所述第三个子时隙进行回复冲突信息，若在所述第二个子时隙未收到数据包或收到冲突信息，则所述第三个子时隙不发送信息；

处于接收模式的节点在所述第一个子时隙进行侦听，若在所述第一个子时隙正确收到所述其他节点的握手包，则在所述第二个子时隙进行回复，若在所述第一个子时隙检测到所述冲突握手包，则在所述第二个子时隙进行回复冲突信息，若所述第一个子时隙未收到所述数据包，则在所述第二个子时隙不发送信息；在所述第三个子时隙进行侦听；

所述Q值表的更新公式为：

其中，s与a分别表示当前的状态与选取的动作，α为学习率，R表示奖励，λ表示奖励的折扣系数，s′与a′分别表示下一个状态与对应的动作。

2.根据权利要求1所述的方法，其特征在于，所述采用∈-greedy算法选择定向天线自组织网络中的节点的收发模式与扫描方向，包括：

以1-∈的概率选取在当前状态下使Q值最大的动作，以∈的概率选取任意动作。

3.根据权利要求1所述的方法，其特征在于，所述根据冲突信息及所述收发模式确定所述强化学习模型中的奖励值，包括：

若所述节点处于所述发送模式且检测到冲突，则奖励的取值为-1；

若所述节点处于所述接收模式且检测到冲突，则奖励的取值为1；

若所述节点成功进行链路发现且为所述发送模式，则奖励的取值为-0.5；

若所述节点成功进行链路发现且为所述接收模式，则奖励的取值为0.5；

若为其余情况下，则所述奖励的取值为0。