[发明专利]网络拥塞控制方法、装置、设备及介质

说明书

本申请提供了一种网络拥塞控制方法、装置、设备及介质。该方法包括：基于网络设备的网络状态数据，通过预先训练好的拥塞控制神经网络，确定拥塞控制窗口的目标调整参数；按照目标调整参数，调整当前拥塞控制窗口的大小，得到调整后的拥塞控制窗口；控制网络设备通过调整后的拥塞控制窗口发送数据包。其中，预先训练好的拥塞控制神经网络基于目标奖励函数训练得到，目标奖励函数至少根据数据包的发送速率和数据包传输过程的最小往返时延确定，从而提高了训练得到的拥塞控制神经网络的准确性，而且无需使用拥塞控制信号直接调节拥塞控制窗口，而是基于训练好的拥塞控制神经网络的处理结果来进行窗口调整，从而提高了控制网络拥塞的准确率。

技术领域

本申请涉及网络传输技术领域，特别涉及一种网络拥塞控制方法、装置、设备及介质。

背景技术

目前网络环境复杂，影响网络传输效率的因素众多，如随机丢包、RTT(Round TripTime，往返时间)变化范围大、带宽变化范围大、缓存深度不一、流量整形、防火墙、数据中心、无线连接、卫星网络连接、虚拟私网等。因此，拥塞控制是保证网络高效传输的重要环节。

然而，现有技术一般是通过拥塞控制信号调节拥塞控制窗口和发送速率，但该类方法难以分辨某些拥塞控制信号是否为网络拥塞所产生，如丢包或延迟等拥塞控制信号，若这些拥塞信号并不是由于网络拥塞而造成的丢包或延迟，这就造成由这些不是由网络拥塞而造成的拥塞控制信号调节拥塞控制窗口大小不准确，进而难以适应当前复杂的网络环境。

发明内容

本申请提供了一种网络拥塞控制方法、装置、设备及介质，以提高控制网络拥塞的准确率。

本申请提供的技术方案包括：

第一方面，本申请实施例提供了一种网络拥塞控制方法，该方法包括：

基于网络设备的网络状态数据，通过预先训练好的拥塞控制神经网络，确定拥塞控制窗口的目标调整参数；其中，该网络状态数据用于指示该网络设备的数据传输状态，该预先训练好的拥塞控制神经网络基于目标奖励函数训练得到，该目标奖励函数至少根据该网络状态数据所包括的数据包的发送速率和数据包传输过程的最小往返时延确定；

按照该目标调整参数，调整当前拥塞控制窗口的大小，得到调整后的拥塞控制窗口；

控制该网络设备通过该调整后的拥塞控制窗口发送数据包。

在一些实施例中，该目标奖励函数根据该网络状态数据所包括的数据包的发送速率、丢包率、数据包在发送时的排队时延以及数据包传输过程中的最小往返时延确定。

在一些实施例中，该目标奖励函数的表达式为：

其中，SR表示数据包的发送速率，LR表示丢包率，D表示数据包在发送时的排队时延，MinRtt表示数据包传输过程的最小往返时间，δ为丢包的惩罚系数，ε和ρ分别为用于引导该拥塞控制神经网络呈现不同表现的引导参数。

在一些实施例中，基于网络设备的网络状态数据，通过预先训练好的拥塞控制神经网络，确定拥塞控制窗口的目标调整参数，包括：

通过该预先训练好的拥塞控制神经网络，基于该网络状态数据，确定用于调整该拥塞控制窗口的至少一个调整参数对应的发生概率；

将对应发生概率最大的调整参数，确定为该目标调整参数。

在一些实施例中，该方法还包括：

基于该调整后的拥塞控制窗口和数据包传输过程的平滑往返时间，确定数据包的发送速率。

在一些实施例中，控制该网络设备通过该调整后的拥塞控制窗口发送数据包，包括：

控制该网络设备，通过该调整后的拥塞控制窗口，按照该发送速率，发送该数据包。