[发明专利]一种网络数据处理方法、系统、介质及设备

说明书

本发明提供了一种网络数据处理方法、系统、介质及设备，方法包括以下步骤：响应于检测到当前环境为有损网络环境，对网络数据流速进行监控，并判断网络数据流速是否达到预设阈值；响应于网络数据流速达到预设阈值，进行多优先级队列处理；判断在进行多优先级队列处理的过程中的网络数据流速是否小于阈值；响应于网络数据流速小于阈值，停止多优先级队列处理。本发明通过对网络数据进行多优先级队列处理，可以避免网络数据丢包、处理延迟等问题，进一步保证了网络数据处理的有效性和及时性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种网络数据处理方法、系统、介质及设备。

背景技术

随着互联网、云计算、物联网、移动互联网等技术的发展，数据呈爆炸性增长，同时对传统的数据传输网络带来了新的挑战。面对高性能计算、大数据分析和浪涌型IO高并发、低时延应用，现有TCP/IP软硬件架构和应用高CPU消耗的技术特征根本不能满足应用的需求。这要有体现在处理延时过大，数十微秒；多次内存拷贝、中断处理，上下文切换、复杂的TCP/IP协议处理、网络延时过大、存储转发模式和丢包导致额外延时。

RDMA利用Messaging passing through kernel方式，它将数据直接从一台计算机的内存传输到另一台计算机，无需双方操作系统的介入，实现了低延时、低CPU开销、高带宽的特性。为了兼容现有的Ethernet网络，RDMA发展了ROCE(RDMA over Ethernet)，使得RDMA技术得到了长足发展。但是RDMA依赖无损网络，实际组网实现时，对组网环境的硬件要求比较高，因此组网成本高；有损网络下对RDMA支持较差，造成延迟较高、丢包等问题。

发明内容

有鉴于此，本发明的目的在于提出一种网络数据处理方法、系统、存储介质及设备，用以解决现有技术中在有损网络下数据处理延时及丢包的问题。

基于上述目的，本发明提供了一种网络数据处理方法，包括如下步骤：

响应于检测到当前环境为有损网络环境，对网络数据流速进行监控，并判断网络数据流速是否达到预设阈值；

响应于网络数据流速达到预设阈值，进行多优先级队列处理；

判断在进行多优先级队列处理的过程中的判断网络数据流速是否小于阈值；

响应于网络数据流速小于阈值，停止多优先级队列处理。

在一些实施例中，多优先级队列处理包括：

采集预设时间段内的网络数据并将其按照优先级高低分为多个优先级队列，其中，网络数据由若干数据包组成；

依照优先级从高到低依次从各优先级队列中每次提取预定数量的数据包进行处理，且每次将处理后的数据包从所在优先级队列中移除，重复直到各优先级队列中的数据包都移除。

在一些实施例中，方法还包括：若在重复过程中有优先级队列的数据包不足预定数量，则仍将数据包进行处理，且将处理后的数据包从优先级队列中移除。

在一些实施例中，各优先级队列的数据包的预定数量按照优先级从高到低逐级下降。

在一些实施例中，响应于网络数据流速小于阈值，停止多优先级队列处理包括：响应于网络数据流速小于阈值，停止多优先级队列处理，并将各优先级队列中还未进行处理的数据包重新进行正常队列处理，其中，正常队列处理为网络数据流速未达到预设阈值时对网络数据进行的处理。

在一些实施例中，方法还包括：响应于多优先级队列处理完成且网络数据流速仍未小于阈值，再次进行多优先级队列处理，重复直到网络数据流速小于阈值。

在一些实施例中，网络数据流速为单位时间内接收的网络数据。

本发明的另一方面，还提供了一种网络数据处理系统，包括：