[发明专利]基于http协议的数据包流式提取方法、系统、介质及设备

说明书

本发明提供了一种基于http协议的数据包流式提取方法、系统、介质及设备，包括：步骤1：在客户端通过http协议对中间服务器发起数据提取请求；步骤2：在中间服务器收到http请求后，对其他中间服务器或数据存储服务器发起新的http请求，并把新的http请求对应的响应数据进行处理，包括合并和格式转换，作为http响应返回客户端；步骤3：在数据存储服务器接收到中间服务器的http请求后，从本地服务器检索提取数据流并放入本地缓冲区，将缓冲区数据作为http响应返回中间服务器。本发明采用通用的http协议将数据传输以流式的方式进行，实现了通用协议下数据包提取的高响应性、低资源消耗。

技术领域

本发明涉及数据包提取技术领域，具体地，涉及一种基于http协议的数据包流式提取方法、系统、介质及设备。

背景技术

在网络性能管理领域，被提取的数据包常以完整文件的形式在主机节点之间传输。这种方法虽然形式简单，但因为需要将全部数据包整体接收作为单一文件存储在磁盘后，才能启动对下一个主机节点的传输，其耗时和磁盘资源消耗，与参与传输的主机节点数成正比例相关。在某个主机节点上，并没有必须得到所有数据包后，才能开始向下个主机节点传输数据包的逻辑必然性，因此，数据包提取所消耗的时间可以被缩小改进，数据包存入临时文件的磁盘消耗也可以被消除改进。

专利文献CN106850547A(申请号：CN201611161161.4)公开了一种基于HTTP协议的数据还原方法及系统。其中，所述方法包括：捕获网络中的数据包；从捕获的数据包中过滤出TCP协议数据包；计算TCP协议数据包的TCP会话哈希值并存储，将TCP会话哈希值相同的数据包存储至二叉排序树中，对二叉排序树进行中序遍历得到重组后的TCP数据包；从重组后的TCP数据包中过滤出HTTP协议数据包；对所述HTTP协议数据包进行内容还原。然而该专利并未解决上述技术问题。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于http协议的数据包流式提取方法、系统、介质及设备。

根据本发明提供的基于http协议的数据包流式提取方法，包括：

步骤1：在客户端通过http协议，对中间服务器发起数据提取请求，客户端预期得到的http响应体为所提取的数据包流，将此数据包流下载为本地文件；

步骤2：在中间服务器接收到客户端或其他中间服务器的http请求后，对其他中间服务器或数据存储服务器发起新的http请求，并把新的http请求对应的响应数据进行处理，包括合并和格式转换，然后作为http响应返回客户端；

步骤3：在数据存储服务器接收到中间服务器的http请求后，流式地从本地服务器检索提取数据流，将数据放入一个本地缓冲区，并实时将缓冲区数据作为http响应返回中间服务器。

优选的，如果当前中间服务器有多路新的http请求，则需要将对应的多路响应数据包合并为一路；

每一路响应数据都是按照时间单调增长的数据包序列，循环检查每一路响应数据的第一个包，将时间戳最新的数据包移除并输出。

优选的，如果多路数据包是不同的格式，则需要在每个数据包合并前，将其转为统一的格式。

优选的，所述步骤3包括：

步骤3.1：启动检索进程，读取本地磁盘，获取所需要的数据包，逐个有序放入内存缓冲区，直到所有数据包都被放入内存缓冲区后，退出进程；若内存缓冲区满，则进程阻塞，等待内存缓冲区被部分或完全消费后，变为非满时继续处理；

步骤3.2：启动http响应进程，从内存缓冲区逐个有序读取数据包，并将数据包作为http响应返回中间服务器，当内存缓冲区为空时，阻塞等待其非空后再继续处理；当检索进程正常退出且内存缓冲区为空时，http响应进程正常退出。

根据本发明提供的基于http协议的数据包流式提取系统，包括：