[发明专利]一种基于Q学习的能量阈值动态优化方法

说明书

本发明涉及一种基于Q学习的能量阈值动态优化方法，属于通信技术领域。采用基于Q学习的方法，智能体经过反复的训练，然后根据收敛的Q表选取最优的动作达到目标状态。当前算法能够根据外部环境实时的动态调整LAA能量检测阈值，采用基于Q学习的算法能够保证共存系统处于高吞吐量高公平性的状态。

技术领域

本发明属于通信技术领域，更为具体地讲，涉及一种基于Q学习的能量阈值动态优化方法。

背景技术

随着移动通信技术的快速发展，各种智能终端的数量呈现爆炸式的增长，频谱资源随着智能终端的数量的增长越来越少。频谱资源可分为授权频谱资源和免授权频谱资源，其中适合用于通信传输的授权频谱资源越来越稀少并且也越来越拥挤，单纯的提高频谱利用率已经不足以缓解频谱资源的短缺。3GPP标准化组织提出利用免授权频谱是解决日益增长的流量的一种有效方案。

目前可以共享的免授权频段包括2.4GHz工业、科学和医疗频段(ISM band) 和5GHz U-NII(Unlicensed National Information Infrastructure)频段，而在现有频段上,已经存在一些成熟的接入技术,如Wi-Fi、蓝牙、雷达、D2D(Device-to-Device) 等,其中最主要的是Wi-Fi接入技术。LTE使用免授权频段除了要满足不同国家和地区对于未授权频段的使用限制以外，最主要的问题是如何保证在公平使用频带资源的情况下与Wi-Fi和谐共存。

LTE技术和Wi-Fi技术是两种截然不同的无线通信技术，两种技术协议的差异导致网络在直接融合的过程中会产生负面效应。对于将LTE系统部署到免授权频段上3GPP标准化组织在LTE Release 13中制定了授权辅助接入 (Licensed-Assisted Access,LAA)技术。LAA方案为了解决LTE和Wi-Fi和谐共存问题，对LTE的接入机制做出改变，采用了一种“先听后说”(Listen Before Talk, LBT)的接入机制。该机制要求所有的LTE设备在接入信道之前都需要对当前的信道状态进行检测，LTE设备需要和Wi-Fi设备相互竞争信道，此方案需要改变 LTE的接入协议。LBT机制的核心是空闲信道评估技术(Clear ChannelAccess, CCA),CCA使用能量检测(Energy Detection,ED)技术对信道进行感知。在LAA 方案中LTE设备在接入信道之前先对当前信道状态进行检测，如果信道状态检测为忙，设备等待其他设备传输完成并寻找机会进行数据传输，如果信道状态检测为空闲，设备立即接入信道并进行数据传输，能量检测技术是对信道状态进行判断的一种简单有效的方案。因此LTE设备是否接入信道进行数据传输取决于能量检测的结果，LAA方案的能量阈值的大小将直接影响能量检测的结果。

3GPP标准化组织规定的参考阈值为固定值，没有考虑到实时的网络环境等情况。因此，设计一种考虑实时网络环境的动态能量阈值优化方案。

发明内容

有鉴于此，本发明提供了一种基于Q学习的能量阈值动态优化方法，用来解决两种不同的网络在免授权频段上共存时的公平性问题。

为了达到上述目的，本发明提供如下技术方案：

基于Q学习的能量阈值动态优化方法，包括以下步骤：

S1：设置LAA SBSs的动作集合A＝{a₁,a₂...a_t}和状态集合S＝{s₁,s₂...s_t}，初始化Q矩阵为零阶矩阵，LAA SBSs随机选择一个初始状态；

S2:：LAA SBSs根据ε-greedy选择策略选择一个动作a_t；

S3：根据动作a_t计算出当前选择的动作对应的共存系统吞吐量和公平性系数，获取当前选择动作a_t的奖励r(s_t,a_t)；