[发明专利]基于部分可测马尔科夫决策过程模型的频谱检测方法

权利要求书

1.一种基于部分可测马尔科夫决策过程模型的频谱检测方法，包括：

步骤1）、初始化信道状态历史信息序列H；

步骤2）、对信道环境进行观测，将观测到的信道状态信息添加到信道状态历史信息序列H中，然后估计信道数据传输的时延，进而由信道的时延信息进一步得到信道i的状态信息；

步骤3）、观测阶段结束后，计算信道初始信念状态和每个信道的状态转移概率；

步骤4）、经一段时间观测，获取信道使用状态的统计信息及状态转移概率，对各个信道的使用状态建立马尔科夫模型；

步骤5）、当时隙t→t+1时，根据步骤2）获得的延时信息结合步骤3）的状态转移概率，更新状态历史信息序列和当前时隙值；根据步骤3）获得的信道的状态转移概率，结合应答信息更新信念状态，并计算瞬时报酬；采用启发式算法迭代计算在执行不同行为a后每个信道的值函数；

步骤6）、重复步骤5）迭代Num次后，计算次用户获得的最大折扣回报，从而得到折扣总报酬为最大带宽的策略，待接入用户根据各个信道的总报酬重新对信道进行从高到低的排序，如果其有数据需要传输，则指导用户按照新的信道顺序尝试接入信道。

2.根据权利要求1所述的基于部分可测马尔科夫决策过程模型的频谱检测方法，其特征在于，在步骤2）中，所述估计信道数据传输的时延通过解调感知信息获得的时间标签实现；包括：在t时隙，当某用户需要传输数据时，首先对各信道进行频谱感知，若某信道正在被占用，则用户接收并解调正在各信道中传输的数据，如果某信道传输的数据能够被解调且能提取时间信息，则估计该信道数据传输的时延，记为l；如果某信道的数据不能被解调或无法从解调的数据中提取时间信息，则将该信道的时延信息标注为缺失；若感知到某信道该时刻空闲，将该信道的时延信息也标注为缺失。

3.根据权利要求2所述的基于部分可测马尔科夫决策过程模型的频谱检测方法，其特征在于，由信道的时延信息进一步得到信道i的状态信息包括：若某信道的时延信息通过估计得到，则根据信道的马尔科夫性，利用s(i)＝s(i-l)p^l计算并判断出t时隙该信道的状态，其中，s(i)表示信道i的状态信息，p表示动作a保持观测时的状态转移概率T(s,a,s′)，s′为转移后的状态；如某信道的时延信息缺失，则该信道的统计占用概率作为其t时隙的使用状态概率。

4.根据权利要求1所述的基于部分可测马尔科夫决策过程模型的频谱检测方法，其特征在于，在步骤3）中，计算每个信道的状态转移概率时，在执行行为a的条件下转移概率服从Dirichlet分布。