[发明专利]基于一对多请求响应模型消息队列数据包存储检索的方法

说明书

本发明公开了基于一对多请求响应模型消息队列数据包存储检索的方法，存储工作包括以下步骤：网络镜像端抓取网络流量中的数据包，保存在所述网络镜像端的本地磁盘上；将数据包解析，并以解析的数据包信息建立一个网络会话索引；将网络会话的索引信息发送到服务端的搜索服务器。检索的工作API服务端接收请求者需要检索的数据包条件；NATS服务接收的网络会话索引信息，并发送给网络镜像端；网络流量镜像端对网络会话索引信息进行检索和处理；API服务端接收步骤网络镜像端的处理结果，下载数据包，反馈给用户。本发明解决了因网络数据包的传输大且过于频繁集中，造成网络传输效率低以及网络拥塞，影响正常业务的正常运作的技术问题。

技术领域

本发明涉及网络数据包的存储及检索技术领域，具体的说，是基于一对多请求响应模型消息队列数据包存储检索的方法。

背景技术

在复杂的网络环境中，技术人员会面临各种问题或故障需研究并解决，比如可能有系统或应用参数配置不当，也可能恶意软件感染等，都可能对正常应用造成影响。对数据包进行协议分析，能够详细的了解网络上正在或过去到底发生什么，是遇到疑难杂症时候最常用和最有效的方法。当需要对于历史网络事件进行追溯时，就要有可以在网络上捕获、存储原始数据包，后期能快速检索到所需历史数据包的工具。

传统的网络数据包的存储，检索的方法一般通过直接抓包或交换机旁路镜像的方式采集，然后通过网络或者消息队列的方式将数据包数据和数据包的索引传输到分析检索的服务端，然后在一个或者多个服务端集中处理存储，检索这样一个流程来实现的。这种方法确实有利于数据包的检索速度，处理效率，但当由于网络环境、业务需要等一些原因，导致流量非常的大，需要镜像的点非常多的时候，这种方式会极大的降低镜像端的网络传输效率甚至造成网络堵塞，存储检索服务端的存储和处理压力也会很大，虽然采用分布式的存储检索服务端能有效减少服务端处理压力，但是镜像端到服务端的网络传输的压力依然存在，造成这种问题的根本原因是因为采集的网络数据包的传输过于频繁集中，造成网络传输效率低以及网络拥塞。

发明内容

本发明的目的在于提供基于一对多请求响应模型消息队列数据包存储检索的方法，用于解决因网络数据包的传输大且过于频繁集中，造成网络传输效率低以及网络拥塞，影响正常业务的正常运作的技术问题。

本发明通过下述技术方案解决上述问题：

基于一对多请求响应模型消息队列数据包存储检索的方法，包括存储工作流程和检索工作流程，所述存储工作流程包括以下步骤：

步骤A1)网络镜像端抓取网络流量中的数据包，保存在所述网络镜像端的本地磁盘上；

步骤A2)将数据包解析，并以解析的数据包信息建立一个网络会话索引；

步骤A3)将网络会话的索引信息发送到服务端的搜索服务器；

基于存储工作的完成，所述检索工作流程包括以下步骤：

步骤B1)API服务端接收请求者需要检索的数据包条件；

步骤B2)API服务端将步骤B1)所述的数据包条件在搜索服务器的网络会话库中进行检索并匹配出对应的网络会话索引信息；

步骤B3)网络镜像端通过NATS服务与服务检索的API服务端建立主题消息通道，NATS服务接收步骤B2)的网络会话索引信息，并发送给网络镜像端；

步骤B4)网络流量镜像端对步骤B3)分发的网络会话索引信息进行检索和处理；

步骤B5)API服务端接收步骤B4)网络镜像端的处理结果，下载数据包，反馈给用户。

优选地，步骤A2)中所述网络会话包括数据包的源IP地址、目的IP地址、源端口、目的端口、协议、应用层协议的基本字段、所述数据包所在的文件名，以及文件内所有数据包在文件中的初始偏移量、数据包的长度的信息。