[发明专利]基于深度强化学习的MPTCP拥塞控制方法及其存储介质

权利要求书

1.基于深度强化学习的MPTCP拥塞控制方法，其特征在于，所述方法包括以下步骤：

步骤1、提取网络状态，计算得到网络状态的特征属性值；

步骤2、对网络应用类型分类，根据网络状态的特征属性值，匹配对应的网络环境类型，针对每一类网络环境设计不同的奖励计算器，计算得到奖励值；

步骤3、AI拥塞窗口估计器通过奖励值以及网络状态的特征属性值计算得到拥塞窗口的估计值；

步骤4、发送端根据拥塞窗口的估计值进行调整。

2.根据权利要求1所述的基于深度强化学习的MPTCP拥塞控制方法，其特征在于，所述步骤2具体为：

将神经网络部署在包含若干种不同网络环境形成的仿真环境中；

让神经网络与各网络环境所对应的奖励函数指导下与环境进行随机交互，并调整拥塞窗口以获得最大化预期的累积奖励值，得到收敛的神经网络，奖励值驱动神经网络演化出不同的拥塞控制策略；

将训练成熟的神经网络部署在真实网络环境内指导数据传输。

3.根据权利要求2所述的基于深度强化学习的MPTCP拥塞控制方法，其特征在于，所述不同网络环境包含以下几种：

吞吐量密集型网络，延迟敏感型网络，恒比特率CBR型网络以及子路径之间的负载均衡型网络。

4.根据权利要求3所述的基于深度强化学习的MPTCP拥塞控制方法，其特征在于，在吞吐量密集型网络情况下，奖励函数为：

在式(3)中，为在时间片t之内从各个子流得到的吞吐量平均值，为从各个子流得到的在第t个时间片内的数据包丢失数量汇总而得平均值，即和其中α表示相应度量的重要性，根据具体目标进行调整的超参数；

表示子流i在时间片t之中获得的吞吐量，而表示子流i在时间片t之中丢失的数据包的数量。

5.根据权利要求3所述的基于深度强化学习的MPTCP拥塞控制方法，其特征在于，在延迟敏感型网络情况下，奖励函数为：

其中，分别为在时间片t之内从各个子流得到的吞吐(x)、时延(d)和丢包(1)的汇总而得的平均值；β和τ为根据实际环境而进行调整的超参数。

6.根据权利要求3所述的基于深度强化学习的MPTCP拥塞控制方法，其特征在于，在恒比特率CBR型网络情况下，奖励函数为：

在式(5)中，为在时间片t之内从各个子流得到的吞吐量平均值，表示子流i在时间片t之中获得的吞吐量；g_bw是所述恒比特率CBR型网络需要的保证带宽；sigmoid函数是经典的阶跃函数；

η和μ为根据实际环境而进行调整的超参数，来量化用户对不同网卡的偏好，通过调整η和μ的值来呈现不同的偏好。

7.根据权利要求3所述的基于深度强化学习的MPTCP拥塞控制方法，其特征在于，在子路径之间的负载均衡型网络情况下，奖励函数为：

在式(6)中，为在时间片t之内从各个子流得到的吞吐量平均值，为从各个子流得到的在第t个时间片内的数据包丢失数量汇总而得平均值，即和表示子流i在时间片t之中获得的吞吐量，而表示子流i在时间片t之中丢失的数据包的数量。

8.根据权利要求1至7任一项所述的基于深度强化学习的MPTCP拥塞控制方法，其特征在于，采用p-greedy方法进行决策：以(1-p)的概率执行LIA算法，p的概率执行随机算法，p为进行神经网络随机探索的概率，(1-p)为以固定的LIA算法进行探索的概率；

在学习初期，p值接近于0，后期p值增大。

9.根据权利要求8所述的基于深度强化学习的MPTCP拥塞控制方法，其特征在于，

在仿真环境中，扩大仿真环境的动态变化范围，让神经网络在训练的过程中尽可能多地在不同的环境设置下都可以收敛。

10.一种计算机可读存储介质，其特征在于，所述存储介质中含有如权利要求1至8任一项所述的基于深度强化学习MPTCP拥塞控制方法。