[发明专利]一种基于Q学习的动态竞争窗口调整方法、装置及设备

说明书

本发明实施例提供了一种基于Q学习的动态竞争窗口调整方法、装置及设备，该方法包括：A、初始化信道接入参数和初始煺火温度；B、在初始竞争窗口大小下，传输并获取数据包传输的第一吞吐量；C、在第一吞吐量下，采取模拟煺火算法，得到第一竞争窗口大小；D、在第一竞争窗口大小下，获取数据包传输的第二吞吐量；E、将第二吞吐量和目标吞吐量按照预设公式更新Q值表，并利用预设条件，更新初始煺火温度，得到更新后的煺火温度；当更新后的煺火温度大于最小阈值时，将更新后的煺火温度作为初始煺火温度，执行B至E，重复更新Q值表及得到更新后的煺火温度，直至更新后的煺火温度小于或等于最小阈值时，停止更新Q值表，得到最优竞争窗口。

技术领域

本发明涉及无线通信技术领域，特别是涉及一种基于Q学习的动态竞争窗口调整方法、装置及设备。

背景技术

随着移动终端设备的普及，蜂窝移动网络承载的业务量也大幅增长。为了满足用户多样的业务需求，蜂窝移动网络需要更多的频谱资源适应移动网络流量的快速增长。授权频段的频率资源已经无法满足用户多样的业务需求，运营商已经渐渐开始利用非授权频段完成辅助接入来满足日益增长的业务量。授权辅助接入(Licensed Assisted Access，简称LAA)网络为运营商利用非授权频段提供了一种很好的途径，为了保证LAA与其他非授权频谱系统的公平共存，需要通过网络设备使用能量监测来判断信道是否被占用，eNB基站需要不断调整竞争窗口的大小，以保证数据成功并且正确的传输。与此同时，无线通信网络技术(Wireless Fidelity，简称Wi-Fi)也可以实现数据的传输，随着Wi-Fi环境的普及，用户不仅可以节省移动网络流量费用，还能随时满足多样的业务需求。

LAA系统的协议机制比较强大，由于具有混合自动重传技术、信道状态信息(Channel State Information，简称CSI)等反馈机制，所以使得LAA系统在与其他网络同时存在时，例如和Wi-Fi同时存在时，LAA系统的信道接入概率比Wi-Fi信道的接入概率更大，LAA网络系统信道的吞吐量更大，会导致自身信道的数据传输量大，容易造成信道负担，并且会对与LAA网络共存的其他无线网络接入技术产生较强干扰。

发明内容

本发明实施例的目的在于提供一种基于Q学习的动态竞争窗口调整方法、装置及设备，以实现有效的动态调整竞争窗口的大小，有效限制了LAA的eNB基站的吞吐量，减轻数据传输的负担。具体技术方案如下：

本发明实施例提供了一种基于Q学习的动态竞争窗口调整方法，应用于LAA基站，所述方法包括：

步骤A，初始化信道接入参数和初始煺火温度；所述信道接入参数包括：初始竞争窗口大小、Q值表、目标吞吐量；

步骤B，在所述初始竞争窗口大小下，传输数据包并获取所述数据包传输的第一吞吐量；

步骤C，在所述第一吞吐量下，采取模拟煺火算法，得到第一竞争窗口大小；

步骤D，在所述第一竞争窗口大小下，获取所述数据包传输的第二吞吐量；

步骤E，将所述第二吞吐量和所述目标吞吐量按照预设公式更新所述Q值表，并利用预设条件，更新所述初始煺火温度，得到更新后的煺火温度；

当更新后的煺火温度大于最小阈值时，将更新后的煺火温度作为初始煺火温度，执行上述步骤B至步骤E，重复更新所述Q值表及得到更新后的煺火温度，直至更新后的煺火温度小于或等于最小阈值时，停止更新所述Q值表，得到最优竞争窗口。

具体的，所述在所述第一竞争窗口大小下，获取所述数据包传输信道的第二吞吐量，包括：

在所述第一竞争窗口大小下，通过马尔科夫概率模型获取所述数据包传输信道的第二吞吐量。

具体的，所述将所述第二吞吐量和所述目标吞吐量按照预设公式更新所述Q值表，包括：