[发明专利]基于强化学习的跳跃式频谱感知方法

说明书

本发明提供了一种基于强化学习的跳跃式频谱感知方法，属于无线通信领域，特别涉及认知无线电技术，为频谱的动态接入提供了一种低开销、智能化的频谱感知方法。考虑频谱空闲状态的持续特性，该方法允许设备在接入信道时跳过部分感知时隙，相比传统周期型感知策略，其可以减小感知开销，提高传输效率。该方法采用强化学习算法，以信道占用情况为状态，信道选择及感知跳过时隙为动作，通过对不同状态下的不同动作进行评估，设备能够智能化地制定最优策略。该方法不依赖具体的频谱状态统计模型，设备可以通过对环境的学习自适应的确定最优接入和感知策略。

技术领域

本发明属于无线通信技术领域，涉及一种基于强化学习算法的跳跃式频谱感知方法，特别涉及到认知无线电与动态频谱接入。

背景技术

近年来，随着物联网的快速发展，移动无线网络所需要承载的数据量与日俱增，频谱逐渐成为一种稀缺且重要的自然资源。认知无线电技术能够通过频谱感知和动态频谱接入，在不影响频谱拥有者(主用户)使用的前提下，允许次用户接入空闲频带，从而有效利用空闲频谱资源，提升频谱利用效率，扩充网络容量，被视为移动无线网络未来重要的使能技术之一。

频谱感知是认知无线电实现动态频谱接入的重要环节，其通过监听各频带的使用状态，使得认知无线电能够有效捕捉空闲频带，进而实现对空闲频谱的动态占用。目前广泛采用的方法主要是基于周期式的频谱感知，即将整个传输过程分为多个等长时隙，每个时隙都进行一次感知操作以确认频谱状态，依此执行接入或断开操作。在每个时隙传输前均进行感知虽然可以有效控制次用户对主用户的干扰，但频繁的频谱感知会缩减传输数据的时间，影响传输的有效性，同时也会带来巨大的感知能耗开销。

大量频谱监测结果表明，频谱占用状态通常具有连续性，即其一旦处于空闲状态，则该状态将大概率持续一段时间。因此，若能够有效捕捉空闲状态的持续特性，就能够在传输过程中避免某些时隙的感知操作，而是对部分时隙更有针对性的进行频谱感知，从而降低感知所带来的能量和时间开销，提高传输效率。

强化学习属于机器学习的一个重要分支，其可以使智能体对过去行为及执行结果进行知识积累，从而学习到环境的动态特性，并依此制定最优策略。本发明基于强化学习算法为认知无线电的动态频谱接入设计跳跃式的频谱感知方法。该方法对频谱环境没有特别要求，能够自适应地捕获空闲状态的持续特性，有效降低感知开销，大幅度提高认知无线电的数据传输效率。

发明内容

本发明基于强化学习算法提出一种跳跃式的频谱感知方法，根据频谱空闲状态的持续特性，在每次接入和感知结束之后跳过一段时间再进行接入和感知，相比周期式的传统感知方法，该方法具有更高的传输效率和更低的感知开销。

本发明针对一对认知无线电收发机，假设有M个信道可用，发射机受硬件条件限制最多可同时感知和接入N个信道(N≤M)，基于强化学习发明的跳跃式频谱感知方法具体步骤如下：

第1、定义状态集、动作集、动作结束判断原则和奖励函数。

定义1：对于任意时隙，发射机的状态集定义为包括设备接入和感知的信道编号以及对应第个信道的状态其中0表示信道空闲，1表示信道被占用，i＝[1,2…,N]。

定义2：对于任意时隙，发射机的动作集a＝{ν,γ}，其中ν∈{1,…,M}表示选择接入和感知的信道编号，γ∈{1，…ω_max}表示选择跳过感知的时隙数，ω_max为发射机可跳过时隙数的最大值。

定义3：定义两个判断动作是否结束的原则：1、接入的某个信道在感知跳过期间一直空闲，即设备成功跳过所选择的感知时隙。2、设备未能成功跳过所选跳过感知时隙，即在跳过感知的过程中信道被主用户占用，产生冲突。当上述两种原则任意一种发生时，认为对应动作结束。