[发明专利]基于在线学习的数据模型双驱动端到端率控制算法

权利要求书

1.基于在线学习的数据模型双驱动端到端率控制算法，其特征在于，先用FTRL算法进行在线决策，再用多模型协作模式进行策略集成的模块生成最终决策，最后根据决策反馈信息；来更新参数。包括以下五个步骤：

阶段一：

1)传输网络监测器监测到的各个网络指标参数，如RTT、丢包率、传输速率等监测目标输入FTRL集群，通过FTRL在线学习算法产生候选决策；

阶段二：

2)将候选决策输入到策略集成模块中，生成最终决策，同时记录最终决策的准确率以及最终决策和候选决策的匹配度；

3)将最终决策的反馈信息重新输入到策略集成模块中，对策略集成模块进行更新；

阶段三：

4)将决策反馈信息以及上面记录的匹配度来更新FTRL集群的模型内部参数；

5)综合选定FTRL集群的超参数重新回到阶段一，直到效果达到阈值。

2.根据权利要求1所述的基于在线学习的数据模型双驱动端到端率控制算法，其特征在于，步骤1)的具体操作为：Monax率控制算法的核心是FTRL在线学习算法，输入为传输监测指标例如RTT、丢包率、传输速率等，输出为拥塞控制窗口的控制决策。Monax算法中采用的Utility函数主要包含三项输入内容：发送速率、RTT梯度和丢包率，计算公式如下：

其中x_i为发送速率，RTT_i为传输时延，L_i为丢包率，RET_i为RTT超过预设的RTT阈值的比例。

T为一个MI(Monitor Interval)的时间，a、t、b、c、d为参数。monax算法中采用了发送速率权重自适应的，当RTT超过阈值时，按照超过的程度降低发送速率的权重，提高RTT在utility函数中的影响程度，反之当RTT小于阈值时，增加发送速率的权重。其中RTT包含预测部分。

3.根据权利要求1所述的具有分类精度保持和带宽保护的边云协同深度学习模型训练方法，其特征在于，步骤2)的具体操作为本质上是基于多模型协作的策略集成模块。先初始化一个模型集群：{f₁，f₂，...f_N}，再根据当前的传输状态生成候选决策{y₁，y₂，...y_N}，然后计算各个模型的权重{w₁，w₂，...w_N}，最后再获取最终决策

4.根据权利要求1所述的具有分类精度保持和带宽保护的边云协同深度学习模型训练方法，其特征在于，步骤3)的具体操作为：多模型协同机制算法会实时记录每个agent的历史决策准确率，当传输效果变差时，智能切换更适合当前网络状态的agent，并更新策略集成模块。