[发明专利]基于在线学习的数据模型双驱动端到端率控制算法

说明书

本发明公开了一种基于在线学习的数据模型双驱动端到端率控制算法，涉及通信技术领域，解决了现有的基于TCP的拥塞控制复杂度高，时延高，效果差，难以精确建模的缺点。我们提出使用基于UDP协议的以具体应用为导向的传输层和应用层结合的，综合在线学习和强化学习的率控制学习方法，降低了数据传输的端到端时延，提升了视频应用用户的观看体验。总体方案分为三个阶段，第一阶段是FTRL在线学习算法，输入为传输监测指标例如RTT、丢包率、传输速率等，输出为拥塞控制窗口的控制决策。第二阶段是多模型协作的模式，多个FTRL根据当前的环境输入会产生多个候选决策，这些候选决策会输入到策略集成模块中，生成最终决策。第三阶段，在模型更新方面，模型依赖采取决策之后的网络传输反馈信息来进行参数更新。本发明在保证数据有效性和视频清晰度等用户观看体验的前提下，实现了一套完整的降低端到端时延的率控制算法。

技术领域

本发明属于人工智能领域，具体涉及一种基于在线学习的数据模型双驱动端到端率控制算法。

背景技术

拥塞控制算法(率控制)是一个计算机网络领域的重要研究方向之一，过去三十年里已经有大量的拥塞控制算法应用于TCP等传输协议，获得了更高的吞吐量，更低的时延已经更好的公平性。拥塞控制算法的类型有很多种类，经典的拥塞控制有基于丢包的算法和基于时延的算法，最近几年出现了一些新的拥塞控制算法例如BBR、PCC Vivace、Remy等，从BDP(带宽时延积)和机器学习的角度进行拥塞控制算法的设计，展现出了优秀的性能。

在强交互VR、视频直播、云游戏等实时性业务中，网络传输是一个十分关键的问题，对于用户来说，除了视频质量之外，端到端时延也将直接影响到用户的使用体验，因此也是一个非常重要的QoE指标。现有的拥塞控制算法中，大部分都是博而不专，只能在特定的网络场景或者应用场景中体现出较好的效果。这是由于大部分拥塞控制算法都对网络场景做了预先的假设，并根据作出的假设设计固定的策略映射机制，而由于网络场景的复杂和多变性，很难覆盖所有的场景，当网络状况偏离了预先的假设时，算法的效果会受到较大的影响。最近几年也有一些新的拥塞控制算法，采用了基于学习的方式，实时更新模型来实现自适应网络的率控制策略，其中比较有代表性的有Remy、PCC、Vivace、Orca等。基于学习的率控制算法往往能够适应各类网络场景，而不需要人工修改参数或者规则。因此，设计一个基于在线学习的能够使上层应用在动态变化的网络环境中能够实时适应和预判网络状况，调整发送策略来保证较低的端到端时延的端到端率控制算法就至关重要。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供了一种基于在线学习的数据模型双驱动端到端率控制算法，该方法在保证数据有效性和视频清晰度等用户观看体验的前提下，实现了一套完整的降低端到端时延的率控制算法。

为达到上述目的，本发明采用如下技术方案来实现的：

基于在线学习的数据模型双驱动端到端率控制算法，包括三个阶段。阶段一先用FTRL算法进行在线决策。阶段二，用多模型协作模式进行策略集成的模块生成最终决策。阶段三，根据决策反馈信息来更新策略集成模块和FTRL集群的参数。具体包括以下步骤：

阶段一：

1)传输网络监测器监测到的各个网络指标参数，如RTT、丢包率、传输速率等监测目标输入FTRL集群，通过FTRL在线学习算法产生候选决策，Monax率控制算法的核心是FTRL在线学习算法，输入为传输监测指标例如RTT、丢包率、传输速率等，输出为拥塞控制窗口的控制决策。Monax算法中采用的Utility函数采用了PCC Vivace中的形式，主要包含三项输入内容：发送速率、RTT梯度和丢包率；

阶段二：

2)先初始化一个模型集群，再根据当前的传输状态生成候选决策，然后计算各个模型的权重，最后再获取最终决策。同时记录最终决策的准确率以及最终决策和候选决策的匹配程度；