[发明专利]一种基于Q学习的动态竞争窗口调整方法、装置及设备

权利要求书

1.一种基于Q学习的动态竞争窗口调整方法，其特征在于，应用于LAA基站，所述方法包括：

步骤A，初始化信道接入参数和初始煺火温度；所述信道接入参数包括：初始竞争窗口大小、Q值表、目标吞吐量，所述初始煺火温度为煺火算法的一个参数；

步骤B，在所述初始竞争窗口大小下，传输数据包并获取所述数据包传输的第一吞吐量；

步骤C，在所述第一吞吐量下，采取模拟煺火算法，得到第一竞争窗口大小；

步骤D，在所述第一竞争窗口大小下，获取所述数据包传输的第二吞吐量；

步骤E，将所述第二吞吐量和所述目标吞吐量按照预设公式更新所述Q值表，并利用预设条件，更新所述初始煺火温度，得到更新后的煺火温度，所述预设公式包括Q(s1,a1)+α[c+γminQ(s2,a2)-Q(s1,a1)]，其中，c＝|s2-s0|，α、γ均为0到1之间的常数，s0表示目标吞吐量，s1表示第一吞吐量，s2表示第二吞吐量，a1表示第一竞争窗口大小值，a2表示第二竞争窗口大小值，所述预设条件包括所述第二吞吐量与目标吞吐量的差值的绝对值小于预设阈值；

当更新后的煺火温度大于最小阈值时，将更新后的煺火温度作为初始煺火温度，执行上述步骤B至步骤E，重复更新所述Q值表及得到更新后的煺火温度，直至更新后的煺火温度小于或等于最小阈值时，停止更新所述Q值表，得到最优竞争窗口。

2.根据权利要求1所述的方法，其特征在于，所述在所述第一竞争窗口大小下，获取所述数据包传输信道的第二吞吐量，包括：

在所述第一竞争窗口大小下，通过马尔科夫概率模型获取所述数据包传输信道的第二吞吐量。

3.根据权利要求2所述的方法，其特征在于，所述将所述第二吞吐量和所述目标吞吐量按照预设公式更新所述Q值表，包括：

计算所述数据包传输的成本值；所述成本值为所述第二吞吐量和所述目标吞吐量差值的绝对值；

根据所述成本值，在所述第一竞争窗口大小下，将所述Q值表按照预设公式更新，得到更新后的Q值表。

4.一种基于Q学习的动态竞争窗口调整装置，其特征在于，所述装置包括：

初始化模块，用于初始化信道接入参数和初始煺火温度；所述信道接入参数包括：初始竞争窗口大小、Q值表、目标吞吐量，所述初始煺火温度为煺火算法的一个参数；

传输模块，用于在所述初始竞争窗口大小下，传输数据包并获取所述数据包传输的第一吞吐量；

计算模块，用于在所述第一吞吐量下，采取模拟煺火算法，得到第一竞争窗口大小；

获取模块，用于在所述第一竞争窗口大小下，获取所述数据包传输的第二吞吐量；

更新模块，用于将所述第二吞吐量和所述目标吞吐量按照预设公式更新所述Q值表，并利用预设条件，更新所述初始煺火温度，得到更新后的煺火温度，所述预设公式包括Q(s1,a1)+α[c+γminQ(s2,a2)-Q(s1,a1)]，其中，c＝|s2-s0|，α、γ均为0到1之间的常数，s0表示目标吞吐量，s1表示第一吞吐量，s2表示第二吞吐量，a1表示第一竞争窗口大小值，a2表示第二竞争窗口大小值，所述预设条件包括所述第二吞吐量与目标吞吐量的差值的绝对值小于预设阈值；

循环模块，用于当更新后的煺火温度大于最小阈值时，将更新后的煺火温度作为初始煺火温度，执行上述传输模块至更新模块，重复更新所述Q值表及得到更新后的煺火温度，直至更新后的煺火温度小于或等于最小阈值时，停止更新所述Q值表，得到最优竞争窗口。

5.根据权利要求4所述的装置，其特征在于，所述获取模块具体用于在所述第一竞争窗口大小下，通过马尔科夫概率模型获取所述数据包传输信道的第二吞吐量。

6.根据权利要求5所述的装置，其特征在于，所述更新模块包括：

第一更新子模块，具体用于计算所述数据包传输的成本值；所述成本值为所述第二吞吐量和所述目标吞吐量差值的绝对值；

第二更新子模块，具体用于根据所述成本值，在所述第一竞争窗口大小下，将所述Q值表按照预设公式更新，得到更新后的Q值表。