[发明专利]拥塞控制模型的训练方法和设备及拥塞控制方法和设备

说明书

本公开提供了一种拥塞控制模型的训练方法和设备及拥塞控制方法和设备。所述拥塞控制方法包括：获取当前的第一网络状态信息和当前应用对网络传输性能的偏好；将获取的第一网络状态信息和所述偏好输入到拥塞控制模型，得到预测的需要执行的用于调整拥塞窗口大小的动作；执行预测的动作以重新设置拥塞窗口。

技术领域

本公开总体说来涉及通信技术领域，更具体地讲，涉及一种拥塞控制模型的训练方法及设备、拥塞控制方法及设备。

背景技术

近年来，为了解决网络拥塞问题，提高网络性能，提出了很多拥塞控制协议，包括启发式协议和基于学习的协议。

基于学习的拥塞控制协议PCC和PCC Vivace以在线的方式学习速率控制行为与观察到的性能之间的关系。为了避免传统TCP变体中收集到的状态和动作之间的硬性映射，它们通过采用在线学习技术选择最佳的发送速率，这些技术不断尝试在小范围内修改发送速率，以接近更好的效用函数性能。虽然PCC和PCC Vivace能够实现良好的性能。基于学习的拥塞控制协议通过与环境交互学习拥塞控制策略，这个策略可以根据网络的状态选择适当的动作来控制发送速率或拥塞窗口。然而，基于学习的拥塞控制协议是通过预先设计的奖励或目标函数来驱动性能的，这些函数是固定的，当出现新的应用时，这些协议无法满足这些应用的性能要求，因此需要重新设计目标函数并重新训练新的模型。

发明内容

本公开的示例性实施例在于提供一种拥塞控制模型的训练方法和设备及拥塞控制方法和设备，以至少解决上述相关技术中的问题，也可不解决任何上述问题。

根据本公开实施例的第一方面，提供一种拥塞控制模型的训练方法，包括：初始化当前训练回合所使用的通信网络环境；将本个训练回合对网络传输性能的偏好、以及当前的第一网络状态信息输入到拥塞控制模型，得到预测的需要执行的用于调整拥塞窗口大小的动作；执行预测的动作以重新设置拥塞窗口，并控制发送端在当前设置的拥塞窗口下向接收端发送数据包；当发送端接收到接收端反馈的ACK消息时，根据所述动作、执行所述动作前的第一网络状态信息、执行所述动作后的第一网络状态信息、以及所述偏好，计算所述拥塞控制模型的损失函数；通过根据所述损失函数调整所述拥塞控制模型的模型参数，对所述拥塞控制模型进行训练，并确定是否结束本个训练回合，其中，当确定不结束本个训练回合时，返回执行将本个训练回合对网络传输性能的偏好、以及当前的第一网络状态信息输入到拥塞控制模型，得到预测的需要执行的用于调整拥塞窗口大小的动作的步骤。

可选地，第一网络状态信息包括以下项之中的至少一项：拥塞窗口的大小、延迟、包确认率、以及发送率；其中，延迟、包确认率、以及发送率是基于接收端反馈的ACK消息确定的。

可选地，对网络传输性能的偏好包括对以下项之中的至少一项的偏好程度：吞吐量、丢包率、以及时延。

可选地，确定是否结束本个训练回合的步骤包括：根据第二网络状态信息的变化情况，确定是否结束本个训练回合。

可选地，根据第二网络状态信息的变化情况，确定是否结束本个训练回合的步骤包括：当执行所述动作后的第二网络状态信息满足第一预设条件时，确定所述动作为胜利的动作；当执行所述动作后的第二网络状态信息满足第二预设条件时，确定所述动作为失败的动作；当胜利的动作的连续次数达到第一预设次数时，确定结束本个训练回合；当失败的动作的连续次数达到第二预设次数时，确定结束本个训练回合；当执行动作的总次数达到第三预设次数时，确定结束本个训练回合。

可选地，第二网络状态信息包括：吞吐量和延迟；第一预设条件为：吞吐量处于带宽的90％-110％、且延迟≤0.7×超时阈值；第二预设条件为：吞吐量处于带宽的50％-70％、且延迟≥0.7×超时阈值。

可选地，所述方法还包括：初始化拥塞窗口的大小；其中，初始化拥塞窗口的大小的步骤包括：预估所述通信网络的带宽，并基于预估的带宽，确定拥塞窗口的初始大小。