[发明专利]基于深度强化学习的MPTCP拥塞控制方法及其存储介质

说明书

本发明公开一直基于深度强化学习的MPTCP拥塞控制方法及其存储介质，该方法基于神经网络的深度强化学习机制在多种网络环境下造成的拥塞情况中进行学习策略，调整拥塞窗口，最终用来指导数据传输。该方法能够自动化地产生符合不同应用需求的拥塞控制算法，实现端到端的性能优化，解决拥塞控制算法和数据包调度程序的冲突问题。

技术领域

本发明属于新一代通信技术领域，具体涉及基于深度强化学习MPTCP拥塞控制。

背景技术

在现今的网络中智能终端通常配备有包括WiFi、3G/4G等多种网络接口，以满足设备在多种异构网络中的数据接入要求。然而，基于传统网络架构和终端需求的单路径TCP协议仅依靠一条单一的数据连接通路来传输信息，无法满足多接入场景下的业务需求。为扩展传统TCP以兼容已有网络并适应新的应用场景，IETF工作组提出了多路径TCP(MPTCP)协议，目的是通过重新规划设计传统TCP协议的内部字段，使其能支持多路径数据传输。MPTCP通过透明地使用多个路径极大地提高了应用程序的性能，目前已被华为、亚马逊、苹果等公司广泛应用于数据中心网络、无线网络、异构网络等多个领域。

MPTCP的拥塞控制算法和数据包调度程序协同工作来消耗来自不同子路径的池化的网络资源，从而实现同一连接下多条子流数据的高效、可靠传输。然而，由于实际网络部署中异构链特性的差异，现有的多径拥塞控制机制存在缓冲区膨胀、带宽利用率低等性能问题；与此同时，现有各种MPTCP协议实现方案中，拥塞控制算法与数据包调度程序的设计目标常常并不一致，这就可能造成两者无法很好的配合工作，最终使得各自的功能无法充分发挥，进而阻碍整体应用程序性能的提高。

拥塞控制算法作为MPTCP设计和实现的重心，近年来受到广泛关注。到目前为止，已经有许多MPTCP拥塞控制算法被提出，以将来自不同子路径的网络资源聚合到一个统一的资源池中，典型代表有Coupled、LIA和BALIA，它们控制注入网络的流量以达到诸如提高吞吐量、拥塞转移等总体目标。最简单的MPTCP拥塞控制算法是让每个子流独立地调整其CWND解耦拥塞控制，但存在不公平和拥塞不平衡的问题。LIA是MPTCP实现的默认拥塞控制算法，它综合考虑丢包率和RTT，在多个传输路径之间进行速率分配，但其性能往往会显得激进，并可能损害其他部分的表现。BALIA则在LIA基础上进行改进，在TCP友好性、响应性和窗口振荡之间取得了良好的平衡。但大部分现有的拥塞窗口调整方法依赖于简单的固定规则，缺乏适应广泛的网络条件和QoS目标的能力，此外这类MPTCP控制机制是被动的和补救的，不能主动优化资源的使用。

MPTCP中最严重的性能问题之一是慢速子流造成的队头阻塞问题，具体来说，是指数据传输过程中，接收端在缓冲区有限的情形下因无法容纳更多的数据，而主动通知发送方暂停传输的现象。该问题常见于路径间RTT差异变化很大的场景，对网络吞吐的损害极大。在MPTCP中，接收缓冲区的默认缓冲要求由式1给出，其中假设子流i能够以bw_i的全速发送，由于对上层业务的数据交付需要保证连续性和完整性，接收端的数据在最慢路径的数据(即RTT_max)到达之前都必须缓存在缓冲区，待完整接收后才能向应用程序传递连续数据。传统TCP的缓冲区要求由式2确定，而不同子流之间的RTT差异性巨大，RTT_max往往可以比快速链路上大一个数量级，这就造成MPTCP对接收端缓存需求巨大，而在移动设备上缓存相对有限，所以相比之下MPTCP更容易发生队头阻塞。

发明内容

本发明针对上述现有技术中存在的问题，本发明设计了一种基于深度强化学习的MPTCP拥塞控制算法--Partner，来自动化地产生符合不同应用需求的拥塞控制算法，实现端到端的性能优化，解决拥塞控制算法和数据包调度程序的冲突问题。

为达到上述目的，本发明通过以下方案来实现：

提供基于深度强化学习的MPTCP拥塞控制方法，所述方法包括以下步骤：