[发明专利]一种无人机自组织网络的路由建立方法及系统

权利要求书

1.一种无人机自组织网络的路由建立方法，其特征在于，包括以下步骤：

预定义默认分簇策略，基于默认分簇策略进行网络分簇，得到网络的初始簇结构；

所述预定义默认分簇策略时，假设无人机自组织网络拥有N个节点，每个节点具有独一无二的身份标识，对于第i个节点，其身份标识记为ID_i；对于身份标识记为ID_i的任意节点，与其相关的记号如下：

W_table_i：节点的效用消息列表，用于存储接收到的效用消息；

CH_table_i：节点的簇头消息列表，用于存储接收到的簇头声明消息；

N_table_i：节点的邻居列表，用于存储接收到的Hello消息中携带的邻居节点的信息；

GP_i＝{La_i，Lo_i}：节点的地理位置，其中La_i表示节点的纬度，Lo_i表示节点的经度；

节点ID_i的速度，v表示节点的当前速率，θ表示节点的当前飞行角度；

节点的角色；

节点的当前效用；簇头节点拥有簇内所有节点中最大的效用值，其中，s_k_i表示该节点的效用因子的值，w_k表示效用因子的权重，满足

ID_i与身份标识记为ID_j的节点在分簇过程中能够发送以下几类消息：

消息；ID_i向外广播其基本信息；

M_i＝ID_i||W_i：ID_i的效用值的消息；

CH_i＝ID_i||W_i||CH：簇头声明消息；ID_i向外广播其角色为簇头节点的消息；

join(i，j)＝ID_i||ID_j||REQ_JOIN：簇加入请求消息；ID_i请求加入ID_j作为簇头的簇；

res_join(j，i)＝ID_j||ID_i||RES_JOIN：簇加入响应消息；ID_j允许ID_i加入其所在簇；

所述网络分簇的方法包括以下步骤：

S1、初始化：

每个无人机节点向外广播Hello消息，根据接收到的外部Hello信息更新邻居列表N_table_i；

S2、簇头选举：

每个无人机节点根据当前的邻居列表和自身的信息计算自己的效用因子；

每个无人机节点根据效用因子计算效用值；

向外广播消息M_i，同时接受其他邻居节点发送的消息M_j，j≠i，并将这些消息按照降序存储于效用消息列表W_table_i中；如果节点ID_i的效用值为效用消息列表W_table_i中的最大值，则节点ID_i将作为簇头节点，记R_i＝0，并向外广播消息CH_i；否则，进入S3；

S3、将簇节点加入簇；

3.1.节点ID_i接收来自其他节点的消息CH_j，j≠i，并存储于簇头消息列表CH_table_i中；

3.2.节点ID_i顺序查找CH_table_i中的每一个元素CH_j，j≠i，若：

(1)W_j＞W_i，且

(2)LHTP^i，j＞σ，LHTP^i，j表示节点ID_i与ID_j的链路保持时间，

则节点ID_i向节点ID_j发送簇加入请求消息join(i，j)；

如果节点ID_i接收到节点ID_j发送的响应消息res_join(j，i)，节点ID_i加入节点ID_j为簇头节点的簇，节点ID_i的角色R_i＝j；否则查找CH_table_i中的下一个元素，重复步骤3.2的过程；

3.3如果步骤3.2结束后，节点ID_i仍未成功加入簇，则节点ID_i将声明为簇头，R_i＝0，并向外广播消息CH_i；

S4、建立骨干网：无人机节点ID_i定期获取邻居节点的簇信息，如果节点ID_i发现其邻居节点ID_j与自己不属于同一个簇，则通知其簇头并申请成为簇间转发节点，节点ID_i与其簇头将记录节点ID_j及其簇头信息，形成簇间路由转发的骨干网架构；

S5、无人机节点定期广播并接收Hello消息进行簇维护；

所述的步骤S5分为以下情况进行簇维护：

新节点加入：簇头节点ID_i收到节点ID_j发送的消息join(j，i)，节点ID_i向ID_j发送消息res_join(i，j)并更新其簇成员列表；

簇成员表维护：簇头节点定期检查其簇成员列表中的节点是否保持在簇内，删除无效簇内节点；

簇头更换：普通节点定期检查与簇头的通信链路是否有效，若与簇头无法通信，则退出该簇头所在的簇，并进入簇节点加入簇阶段重新选择簇头；

骨干网维护：所有节点定期发送与接收Hello消息，结合骨干网建立方法动态决定承担或放弃转发节点；

重新分簇：当节点接收到分簇策略服务器发送的分簇策略更新消息，则重新进行分簇；

基于强化学习设计无人机自组织网络的路由动态调整模型；

对各网络节点设置基于网络拓扑稳定性的惩罚函数，各网络节点反馈惩罚函数的输出，根据反馈信息动态更新路由动态调整模型，并选取最优分簇策略提供给各网络节点；

获取稳定的基于分簇的簇结构，建立各网络节点的路由；

采用Q-learning算法进行强化学习，节点的四个效用因子所组成的四元组ss＝s_1_i，s_2_i，s_3_i，s_4_i表示节点的状态空间，四个效用因子的权重值所组成的四元组as＝w₁，w₂，w₃，w₄表示网络的动作空间，k时刻下网络的全局状态用记号S^(k)表示，其计算方法如公式(8)，(9)：

H_i＝-∑P_ilogP_i (9)

公式(8)中的H_i表示网络中所有无人机节点的状态空间中第i个元素s_i的信息熵；

定期收集各无人机节点的状态来计算S^(k)，基于Q-table利用公式(10)选择最优动作a^(k)＝{w1，w2，w3，w4}作为各节点的四个效用因子的权重；

a^(k)＝a′，Q(S^(k)，a′)＝max{Q(S^(k)，a)|a∈as} (10)

无人机自组织网络基于分簇策略进行分簇，并在分簇结束后定期计算激励值进行反馈；

激励值计算方式按照公式(11)与(12)中的激励函数：

公式(12)中的λ的取值被设置为0.75，为指标函数，count_role是T时间内节点的角色变换次数，如果count_role值小于返回1，否则返回-1；

E_c用来描述T时间内节点能量的变化，其计算方式如公式(13)与(14)：

E_c＝1-2ΔE (13)

式中，E_t+T1表示t+T1时刻节点ID_i的剩余能量，E_t表示t时刻节点ID_i的剩余能量，E₀表示节点ID_i的初始能量；

将所有节点的激励值的平均值作为当前动作的激励值并更新其R-table，根据公式(15)更新Q-table；其中s为网络当前状态，a为当前动作，R^(k)为当前动作的激励值，γ为折扣因子，α为学习速率，根据无人机网络应用环境，设置γ＝0，α＝0.8：

Q(s，a)←Q(s，a)+α[R^(k)+γmax_a′Q(s′，a′)-Q(s，a)] (15)。