[发明专利]基于部分可测马尔科夫决策过程模型的频谱检测方法

说明书

技术领域

本发明涉及水声通信领域，更具体地涉及认知水声通信系统中一种基于部分可测马尔科夫决策过程（POMDP）模型的频谱检测方法。 

背景技术

随着现代信息技术和海洋开发技术的飞速发展，人们对水声通信的需求日益增加，如何实现高速水声通信和对水下频谱资源的有效共享，成为了亟待解决的问题。认知无线电是近年来兴起的一种智能无线通信新技术，它能感知周围环境，运用“理解-构建”的方法从周围环境获取信息，并通过实时改变诸如传输功率、载频、调制方式等传输参数来适应运行环境的变化。近年来，人们又在认知无线电的基础上提出了认知水声通信系统的概念，为解决高速水声通信和水下频谱资源的有效共享问题指出了新的研究方向。与认知无线电相同，认知水声通信系统的目标是通过感知水下环境和进行信道估计来发现水声信道的频谱空洞，并合理利用它，从而提高水声通信系统的频谱利用率。在认知水声通信系统中，除了将幅值衰减严重、通信性能差的频点或频段看作是信道的止带外，把干扰用户工作的频带也看作是认知用户的信道止带，同时通信频带不能占用工作中的型号声呐的工作频率。 

目前的两种水下频谱分配方式分别是基于固定分配类和基于竞争类，但它们又各自存在局限性。固定的频谱分配方式势必造成信道利用率不高、频谱资源紧张的问题；而基于竞争类的分配方式又会出现多个用户竞争同一信道的情况，从而造成数据的冲突和碰撞。因此，动态、合理地分配水下的频谱资源、提高频谱利用率，就成为提高水声通信性能的关键问题，也是认知水声通信系统中的关键技术。 

基于POMDP模型的频谱预测方法在认知无线电中已有过相关的应用，主要适用于陆上信道多、环境复杂、不可能也没有必要获知每个信道使用信息的情况。其应用背景是陆上的频谱资源被划分给特定的授权用户，认知用户在利用频段的空白时间传输时必须保证不对授权用户的使用造成干扰，因此认知用户必须不停的感知和预测授权用户将来时刻的使用状态。与认知水声通信不同的是：在认知无线电环境中没有考虑传播时延信息，默认频谱感知的结果是实时和同步的。 

水声信道远不如无线电环境的大气或真空那样，具有较宽的可用频带。在水下，由于传播损失随着频率的升高和距离的增大而增加，因而水声信道的可用带宽十分 有限。另外，由于声波在水中的传播速度远小于电磁波在空气中的传播速度（声波在水中的传播速度约为1500米/秒，仅为电磁波在空气中传播速度的二十万分之一），而传输时延却是电磁波传输的105倍，这使得水下频谱感知与陆上频谱感知相比具有延时和异步的特点。这些都显著地增加了在认知通信系统中后续的频谱分配处理难度，使陆上的频谱预测方法不能直接运用于水下通信系统。 

发明内容

本发明的目的在于克服现有技术中的频谱预测方法不能直接运用于水下通信系统的缺陷，从而提供一种适合水下通信的频谱检测方法。 

为了实现上述目的，本发明提供了一种基于部分可测马尔科夫决策过程模型的频谱检测方法，包括： 

步骤1）、初始化信道状态历史信息序列H； 

步骤2）、对信道环境进行观测，将观测到的信道状态信息添加到信道状态历史信息序列H中，然后估计信道数据传输的时延，进而由信道的时延信息进一步得到信道i的状态信息； 

步骤3）、观测阶段结束后，计算信道初始信念状态和每个信道的状态转移概率； 

步骤4）、经一段时间观测，获取信道使用状态的统计信息及状态转移概率，对各个信道的使用状态建立马尔科夫模型； 

步骤5）、当时隙t→t+1时，根据步骤2）获得的延时信息结合步骤3）的状态转移概率，更新状态历史信息序列和当前时隙值；根据步骤3）获得的信道的状态转移概率，结合应答信息更新信念状态，并计算瞬时报酬；采用启发式算法迭代计算在执行不同行为a后每个信道的值函数； 

步骤6）、重复步骤5）迭代Num次后，计算次用户获得的最大折扣回报，从而得到折扣总报酬为最大带宽的策略，待接入用户根据各个信道的总报酬重新对信道进行从高到低的排序，如果其有数据需要传输，则指导用户按照新的信道顺序尝试接入信道。