[发明专利]一种时限约束下的能量收集认知无线电网络接入方法

权利要求书

1.一种时限约束下的能量收集认知无线电网络接入方法，其特征在于，具体步骤为：

步骤1、确定部分观测马尔可夫决策过程的相关参数，所述相关参数包括：描述在时隙t开始时刻次发送端的状态s_t、描述时隙t的开始时刻状态处于s_t时，次发送端选择的动作a_t、描述次发送端在状态s_t＝s∈S时采取动作a_t＝(x,y)∈A_s转移到状态s_t+1＝s′∈S的转移概率Pr(s′|s,x,y)、描述次发送端在时隙t开始时刻的观测o_t、描述次发送端在状态s_t＝s∈S采取动作a_t＝(x,y)∈A_s转移到状态s_t+1＝s′∈S时得到观测o_t＝o的观测函数Pr(o|s,x,y,s')、描述基于时隙t之前所有历史信息和观测的条件下时隙t开始时刻次发送端状态的置信状态I_t、描述在时隙t开始时刻置信状态I_t＝I时，次发送端采取动作a_t＝(x,y)∈A_s所获得的即时奖励R_t(I,x,y)、描述一系列从当前置信状态映射到当前时隙动作的策略π。

步骤2、基于决策过程Z_t，确定次用户吞吐率指标ψ(π)；

步骤3、基于决策过程Z_t，利用QMDP算法确定感知接入动作a_t。

2.根据权利要求1所述的时限约束下的能量收集认知无线电网络接入方法，其特征在于，步骤1中的部分观测马尔可夫决策过程的相关参数的确定方法具体为：

步骤1-1、确定部分观测马尔可夫决策过程{Z_t,t＝0,1,L}，即无限时域马尔可夫决策过程，次发送端在每个时隙开始时刻做出决策；

步骤1-2、确定状态s_t，s_t满足s_t@其中i_t∈{-1,0,L,D-1}，当0≤i_t≤D-1时其表示时隙t开始时刻次发送端队首数据包的逗留时间，D为数据包的传输时限，i_t＝-1表示时隙t开始时刻次发送端数据队列为空；j_t∈{0,1,L,L}表示时隙t开始时刻次发送端所具有的能量单元数目，L为储存能量单元的能量储存器的容量；则表示时隙t开始时刻的信道n状态。将s_t所有可能取值组成的集合称之为状态空间，并标记为S。

步骤1-3、确定行为a_t，a_t满足：其中，X_t为次发送端在时隙t开始时刻可选工作模式(0表示表示能量收集模式、1表示数据传输模式)的集合，当0≤j_t≤m或i_t＝-1时X_t＝{0}，而当m+1≤j_t≤L且i_t≥0时X_t＝{0,1}；Y_t＝{1,2,L,N}表示次发送端用于传输数据或收集能量的信道标号的集合。

步骤1-4、确定状态转移概率Pr(s′|s,x,y)，其计算公式为：

其中表示信道n的状态从cⁿ转移到cⁿ'的概率，记C_0,0(n)为α_n,C_1,0(n)为β_n；Pr(i',j'|i,j,x,y,cⁿ)为信道n在时隙t开始时刻的状态时次发送端采取动作a_t＝(x,y)∈A_s、次发送端状态从i_t＝i,j_t＝j转移到i_t+1＝i′,j_t+1＝j′的概率。

给定信道n在时隙t开始时刻的状态以及动作a_t＝(x,y)∈A_s时，将次发送端数据分组及能量储存状态的转移概率矩阵标记为P_x,y，并在下面分情况详细列出。

①当x＝0,y＝n即次发送端选择能量收集模式时，

其中，P_x,y的每一行均对应于队首数据包的逗留时间，B_i,i′(n)代表队首数据包的逗留时间从当前时隙的i转移到下一时隙的i′，而B_i,i′(n)每一行均对应能量储存器中能量单元的数目。

B_i,i′(n)可分为i＝-1和i≥0两种情况进行考虑。

当i＝-1即次发送端在当前时隙开始时刻无数据包等待发送时，下一时隙开始时刻的队首数据包逗留时间i'＝-1或1，并且次发送端所储存能量将不会减少，因此可获得：

当i≥0即次发送端在当前时隙开始时刻有数据包等待发送时，B_i,i′(n)可进一步分为两种情况进行考虑：当0≤i≤D-2即队首数据包逗留时间在下一时隙开始时刻未到达传输时限时，能量仅在选择信道状态为忙碌时会有所增加，而队首数据包逗留时间i′＝i+1，因此可获得：

而当i＝D-1即队首数据包逗留时间在下一时隙开始时刻已到达传输时限时，当前时隙的队首数据包在下一时隙开始时刻必被移出队列，从而只需关注队列第二个数据包于何时到达，因此可通过几何分布推导得：

②当x＝1,y＝n即次发送端选择数据传输模式时，

B_i,i′(n)可分为以下三种情况进行考虑。

当0≤i≤D-2,m+1≤j≤L、信道忙碌或信道错误导致传输失败，队首数据包逗留时间i′＝i+1，因此可得：

当0≤i≤D-2,m+1≤j≤L时，信道状态空闲且未发生信道错误时，队首数据包传输成功，队首数据包逗留时间i′＝i-k，其中0≤k≤i+1，因此可得：

其中λ_-1＝1，当t＞l时

当i＝D-1即队首数据包逗留时间在下一时隙开始时刻已到达传输时限时，当前时隙的队首数据包在下一时隙开始时刻必被移出队列，进而使得队首数据包逗留时间将由i＝D-1转移至i′＝D-1-k，其中0≤k≤D，因此可得：

步骤1-5、确定观测o_t，o_t满足：其中表示次发送端对时隙t开始时刻队首数据包逗留时间的观测；表示次发送端对时隙t开始时刻所储存能量单元数目的观测；表示次发送端对时隙t开始时刻信道n状态的观测，表示观测结果为空闲；表示观测结果为忙碌；表示无观测。

步骤1-6、确定观测函数Pr(o|s,x,y,s')，Pr(o|s,x,y,s')计算公式为：

其中为信道n的观测函数，为队首数据包逗留时间和能量储存器能量单元数目的观测函数。由于都是完全观测，与动作无关，因此可得：

而次发送端仅能观测所选择信道状态，因此信道观测函数为：

步骤1-7、确定置信状态I_t，I_t满足：

I_t@[b_t(s₁),b_t(s₂),...,b_t(s_|S|)]

对于任意s∈S，b_t(s)∈[0,1]且∑_s∈Sb_t(s)＝1。时隙t+1开始时刻的置信状态I_t+1由时隙t开始时刻的置信状态I_t、时隙t时次发送端的动作a_t＝(x,y)∈A_t以及时隙t时次发送端的观测o_t＝o按照贝叶斯法则进行如下更新：

I_t+1@f(I_t,x,y,o)

步骤1-8、确定奖励R_t(I,x,y)，R_t(I,x,y)的计算公式为：

R_t(I,x,y)@∑_s∈Sb_t(s)r_t(s,x,y)

其中r_t(s,x,y)为时隙t开始时刻s_t＝s∈S时，次发送端采取动作a_t＝(x,y)∈A_s所获得的即时奖励，即

由上式可看出，R_t(I,x,y)和r_t(s,x,y)与时隙t无关，因此可简写为R(I,x,y)、r(s,x,y)。

步骤1-9、信道接入策略π由一系列从当前置信状态到当前时隙动作的映射函数得出，即：

π@[μ₁,L,μ_t,L],whereμ_t:I_t→A_st,

可见π属于确定性策略。将所有可能π的集合标记为Π。