[发明专利]认知无线电中基于协作学习的多用户动态频谱接入方法

说明书

技术领域

本发明涉及一种特别用于认知无线电系统中多用户动态频谱接入的方法，属于通信技术领域。

背景技术

无线电频谱是全人类共享的有限自然资源，各国对无线频谱的管制都很严格，一般都是由国家统一分配。随着信息时代的到来，无线通信的各种新业务发展迅速，无线设备被广泛使用，无线频谱资源日趋紧张。

事实上在许多频段，频谱接入问题比频谱物理稀缺问题更为显著，大部分原因是由于法定的分配规则限制了用户的接入能力。2002年11月，美国联邦通信委员会(FCC)发布了一项由Spectrum-Policy Task Force提交的旨在有效管理美国频谱资源的报告。该报告明确指出：“在许多频带，频谱的准入是一个比频谱本身稀缺更加重要的问题，频谱的稀缺很大程度上是由于法规限制了这些频谱上的潜在用户获得准入。”事实确实如此，如果统计一下包括郊区在内的各类地域的频谱占有率，将会发现一些频带在绝大数时间是未被占据的；一些频带是部分时间被占据的；而另外一些频带则是被密集使用的。这种频谱利用的不均的情况引导了通信业界研究人员去思考“频谱空穴”(Spectrum Holes)这样一个崭新的概念，即“一个频谱空穴是分配给授权用户的频带，但是，在某一指定时间和空间，在授权用户不占用这一频带的情况下，此频带可以被其他用户使用。”这样，频谱资源的潜在利用率可以得到明显提高。认知无线电(CR：Cognitive Radio)技术被认为是未来探测频谱空穴特性、高效利用无线频谱的主要手段，是能够有效缓解频谱分配与利用这对矛盾的技术。

认知无线电的概念起源于1999年Joseph Mitola博士的奠基性工作，他的博士论文中是这样描述认知无线电的：无线个人数字助理和相关的网络在无线电资源和通信方面具有充分的计算智能来探测用户的通信需求，并根据这些需求来提供相应最合适的无线电资源和无线服务。著名通信理论学者、人工智能大师Simom Haykin教授从数字信号处理、网络、人工智能和计算机软硬件实现等角度出发定义了认知无线电，即“认知无线电是一个智能的无线通信系统，可以感知无线环境，通过对环境的理解、主动学习实现在特定的无线操作参数(如功率、载波调制和编码等方案)实时改变和调整它的内部状态。适应外部环境的变化，具有在不影响其他授权用户(主用户，Primary user，Licensed user)的前提下智能地利用大量空闲频谱并且随时随地、智能、高可靠性通信的潜能。”FCC定义认知无线电是一种可通过与其运行环境交互而改变其发射机参数的无线电。国际电信联盟ITU(International Telecommunication Union)定义认知无线电为可感知或了解其操作的环境从而动态、自治地调整其操作参数的无线电或系统。总的来说，认知无线电可认为是一种可以依靠人工智能的支持，感知环境，根据一定的学习和决策算法，实时、自适应地改变系统工作参数，动态地检测和有效地利用空闲频谱的无线电。研究认知无线电对于解决无线频谱资源紧张的问题具有十分重要的意义。

学习是人类智能的重要表现之一，人所以能够适应环境的变化并提高解决问题的能力，其原因在于人能通过学习积累经验，总结规律，以增长知识和才能。人工智能大师Simon认为：学习就是系统在不断重复的工作中对本身能力的增强或改进，使得系统在下一次执行相同任务或相类似的任务时，会比现在做的更好或效率更高。学习是认知无线电系统的一个重要环节，认知无线电系统能够感知周围环境(如无线电环境，信道环境等)，并能从环境中学习，通过实时的改变相应的固定参量(如发送功率，发送频率和调制策略等)，来达到通信的可靠性和更有效的频谱利用率这两个主要目的。

发明内容

技术问题：本发明的目的在于提供一种认知无线电系统中基于协作学习的多用户动态接入方法，单个智能体(认知用户)可以独立地解决各种简单的问题，但是当问题变复杂时，单智能体独立学习却越来越无能为力，因此此时必须得依靠多个智能体共同工作来解决这些复杂的问题。本发明将黑板模型、融合算法和强化学习结合起来，可以提高多认知用户系统的学习速率。

技术方案：本发明中，基于协作学习的多用户动态频谱接入方法的思路是：每个认知用户都采用单Agent强化学习算法独立地进行学习，为了加快学习速度、提高学习效率，多个认知用户通过黑板模型进行策略的共享，一段学习时间后，利用融合算法对多个策略进行融合来改进策略，然后利用融合后的策略进行再学习。这相当于给每个认知用户增加了先验知识，从而能使其更快地学习。方法框架如图1所示：

动作选择器：根据Q值和选定的动作选择策略来选择动作。