[发明专利]一种数据采集方法、装置及计算机可读介质

说明书

本发明实施例公开了一种数据采集方法、装置及计算机可读介质，属于计算机技术领域。所述方法应用于第一设备，所述方法一实施方式包括：获取目标网卡的数据采集请求；基于所述数据采集请求，控制数据平面开发套件DPDK按照相应的DPDK工作模式对目标网卡进行数据采集；将采集的所述数据发送至第三方；由此，能够实时监测第一设备的软硬件资源，并根据监测结果动态配置DPDK参数以更新DPDK工作模式，从而使得第一设备在千兆网络下能够快速采集网卡数据，提高了第一设备对网络报文流的处理性能。

技术领域

本发明属于计算机技术领域，尤其涉及一种数据采集方法、装置及计算机可读介质。

背景技术

实时处理网络报文流是入侵检测系统、网络协议分析、网络防火墙、高性能通信系统、高性能路由器、主机路由器,以及其他网络监视系统必须满足的首要条件。目前大部分的入侵检测系统、防御系统，以及防火墙等网络监视系统均是运行在Linux用户空间的网络报文处理程序。百兆的网络环境下,普通网卡和网络数据包捕获函数库（Packet CaptureLibray，缩写libpcap）接口能够使运行在Linux用户空间的网络报文处理程序实时捕获网络报文；然而千兆网络时代到来后,现有的网络报文处理程序在通用操作系统下远达不到实时捕获网络数据包的要求。影响数据包捕获性能的主要原因包括系统开销、内存访问和TCP/IP协议栈的处理三个方面，而系统开销是其中影响最大的因素。

传统的数据包捕获机制包括伯克利包过滤器（Berkeley Packet Filter，缩写BPF）数据包捕获机制、libpcap数据包捕获机制，以及pf_ring数据包捕获机制。BPF数据包捕获机制的两个组成部分包括转发部分和过滤部分;转发部分负责从链路层提取数据包并转发给过滤部分；过滤部分根据过滤规则，决定数据包的转发或者丢弃，然后交给应用层。然而，BPF数据包捕获机制的缺点是所有动作都在内核中完成，可移植性差。libpcap数据包捕获机制是将网卡设置为混杂模式，拷贝所有流经网卡的数据包；之后将数据包用BPF过滤后交付内核中的数据包缓冲区存储；最后应用程序通过系统调用的方式，从数据包缓冲区来获取数据包。然而，libpcap数据包的缺点是浪费CPU周期。pf_ring数据包捕获机制是在应用程序直接访问内核，首先在内核中添加用socket区分的环形缓冲区，然后将网卡中的数据包直接拷贝到对应socket的缓冲区中，之后应用程序通过接口函数直接获得相应缓冲区的数据包。然而pf_ring数据包捕获机制是缺点是上述预处理仍然在内核中。由此可知，数据包在内核和用户空间传递过程中的拷贝,缓存,以及系统调用过程需要很大的系统开销，从而降低了系统对网络报文流的处理速度。

发明内容

本发明提供一种数据采集方法、装置及计算机可读介质。该方法能够省去数据包在内核和用户空间传递过程中的拷贝、缓存，以及系统调用过程，从而使得网络报文的处理性能得到很大的提升。

为实现上述目的，根据本申请实施例第一方面一种数据采集方法，所述方法应用于第一设备，包括：获取目标网卡的数据采集请求；基于所述数据采集请求，控制数据平面开发套件DPDK按照相应的DPDK工作模式对目标网卡进行数据采集；将采集的所述数据发送至第三方。

可选的，所述基于所述数据采集请求，控制DPDK按照相应的DPDK工作模式对目标网卡进行数据采集，包括：基于所述数据采集请求，对第一设备的系统资源剩余情况进行监控；基于所述监控结果，确定DPDK当前工作模式；基于所述DPDK当前工作模式，控制所述DPDK对目标网卡进行数据采集。

可选的，所述基于所述监控结果，确定DPDK当前工作模式，包括：若所述监控结果满足预设条件，则将预设DPDK工作模式确定为DPDK当前工作模式；若所述监控结果不满足预设条件，则基于所述监控结果更新DPDK工作模式；将更新后DPDK工作模式确定为DPDK当前工作模式。

可选的，所述预设DPDK工作模式通过如下方式获得：获取DPDK配置请求；基于所述配置请求，对DPDK的参数进行配置，得到预设DPDK工作模式。