[发明专利]一种基于DPDK的分布式数据捕获方法

说明书

本发明公开了一种基于DPDK的分布式数据捕获方法，包括：1）数据流信息采集；2）任务分配；3）数据转储。这种方法能够在负载均衡网络上进行数据采集、能提高系统的吞吐量，能提高数据的存储速度。

技术领域

本发明涉及计算机和信息科技技术，具体是一种基于DPDK的分布式数据捕获方法。

背景技术

数据捕获是对网络中传输的数据流数据包进行拦截和记录的过程。数据包在网络中传输时，捕获装置会对每一个数据包进行捕获，并对数据包进行存储，以便采用网络数据分析器对网络中的流量数据进行分析与审计。流量捕获对于网络流量分析、网络安全审计和网络取证等许多领域非常关键。

传统的流量捕获方法是采用操作系统的内核协议栈或对操作系统的内核协议栈进行修改来进行的，如Tcpdump、Wireshark等。Tcpdump是一种基于libpcap的命令行流量捕获和网络监控工具，它可以帮助用户捕获当前设备的网络流量并进行存储。libpcap在主机端或路由器等设备的内核网络协议栈中运行，通过内核网络协议栈的过滤器与旁路机制，构建一个过滤器对所有流经目标网卡的数据包进行监听，对监听到的数据包进行拷贝，并按照用户定义的规则进行过滤，然后将捕获到的数据交给相关的用户空间上层应用。Wireshark是一种网络协议分析器与数据包嗅探器，能够执行数据包的实时捕获以及对协议和数据包内容的深度离线分析。Shane等人提出了一个名为libtrace的网络数据包捕获和处理的C语言库，libtrace提供了简单易用的函数接口，有助于开发更易用、更可靠的网络跟踪分析和监控工具。然而这种方式具有内核空间到用户空间的中断以及内存拷贝造成的开销，造成了一定的性能浪费。

部分研究人员采用零拷贝的方法减少数据传输造成的延迟。Luig等人提出了一种名为Netmap的数据包处理框架，Netmap通过内存映射等手段，将捕获到的数据包的缓冲区映射到用户空间，并在用户空间实现了主要的程序结构。Netmap通过内存映射、内存预分配等手段，消除了从内核空间到用户空间的系统调用、内存申请、内存拷贝等开销，使得框架具有零拷贝的特点，极大的提升了数据包的捕获性能；Jiawei等人提出了一种基于PF_RING的自适应数据包捕获方案，可以根据网络中数据量的大小，动态的对缓冲区进行分配，提升了数据包捕获的性能，当网络中的流量变化较为明显时，可以自动增加或减少内核中的缓存空间大小，确保在数据包捕获的过程中不会产生因为缓冲区不足而导致的数据包丢失现象，使得该方案与原始PF_RING相比极大的降低了丢包现象的发生率，同时缓解了内存资源的浪费；Paul等人提出了一种数据包捕获和存储方案，该方案将数据包缓存在内存中的环形队列中，并在指定的事件发生时将数据包写入磁盘以提升写入效率；Hyun等人提出一种基于DNS sinkhole的恶意数据包捕获方法，以提高恶意数据包的捕获比例；Martino等人提出一种数据包捕获与分析方案，将英特尔数据平面开发框架与流量分析器相结合以提高数据的处理速度。

近年来，部分研究人员提出采用专用的硬件设备进行数据包的捕获。Siyi等人提出了一种基于现场可编程逻辑门阵列FPGA(Field-Programmable Gate Array，简称FPGA)的网络流量捕获与重放解决方案，可以确保捕获数据包时间戳的上的高精度和高吞吐量。Salvatore等人提出一种在硬件中构建有状态数据包处理功能的框架，框架支持复杂网络功能，并且对程序员隐藏了低级硬件实现；Jakub等人提出了一种基于FPGA的网络流量捕获方案，可通过PCI-E以400Gbps的传输将数据包写入主机的内存中；Han等人提出了一种基于FPGA的网络流量捕获方案FPC-NM，该方案分为硬件和软件两部分，硬件部分基于FPGA实现，对数据包进行时间戳、负载均衡分配、TCP段重组等预处理，软件部分根据硬件部分的预处理结果，将不同数据流交给不同CPU进行进一步处理，该方案采用软件与硬件结合的方式，较大的提升了处理性能。