[发明专利]一种数据采集方法及系统

说明书

本申请提供一种数据采集方法及系统，应用于数据采集领域，其中，数据采集方法包括：使用数据平面开发套件DPDK在用户态采集数据包；使用DPDK基于数据包的五元组信息建立会话信息，并识别数据包的协议类型；根据数据包的协议类型对数据包进行协议解析，得到解析后的流量；将解析后的流量进行存储。在上述方案中，使用DPDK在用户态采集数据包，数据包可以直接从硬件到业务进程，而不需要经过中间的拷贝过程，提高了处理网络数据的效率；此外，采用DPDK能够快速的对会话表进行更新、删除等处理，同样可以提高处理网络数据的效率。由于提高了处理网络数据的效率，因此本申请实施例提供的数据采集方法可以处理更大流量的网络数据。

技术领域

本申请涉及数据采集领域，具体而言，涉及一种数据采集方法及系统。

背景技术

数据包采集技术，主要用于提取网络里的指定协议信息，例如：基于五元组的网络会话信息、Layer7应用层的超文本传输协议(Hyper Text Transfer Protocol，HTTP)、域名解析(Domain name resolution，DNS)、简单邮件传输协议(Simple Mail TransferProtocol，SMTP)等应用协议信息。此外，数据包采集技术还可以输出相应的协议数据结构，供大数据分析、人工智能检测等。

现有技术中的数据包采集技术，一般包括：Bro、Zeek、Tcpdump、Wireshark、Molock、Arkime等。其中，上述数据包采集技术消耗的资源一般都很多，无法处理大流量的网络数据。例如：在一个8核心的计算机上，Wireshark无法采集大于1Gbps的流量，否则整个软件会卡死；虽然Tcpdump可以采集10Gbps的流量，但是它只能将采集的流量存储到本地，没有办法输出有效的结构化信息给到系统的其他环节；Bro和Zeek能够分析流量，但是性能很差，32核心的机器，一般只能处理1-2Gbps的流量。

也就是说，上述现有技术中的数据包采集方法，仅能处理低流量的网络数据，而不能处理大流量的网络数据。

发明内容

本申请实施例的目的在于提供一种数据采集方法及系统，用以解决现有技术中的数据包采集方法，仅能处理低流量的网络数据，而不能处理大流量的网络数据的技术问题。

第一方面，本申请实施例提供一种数据采集方法，包括：使用数据平面开发套件DPDK在用户态采集数据包；使用所述DPDK基于所述数据包的五元组信息建立会话信息，并识别所述数据包的协议类型；根据所述数据包的协议类型对所述数据包进行协议解析，得到解析后的流量；将所述解析后的流量进行存储。在上述方案中，使用DPDK在用户态采集数据包，数据包可以直接从硬件到业务进程，而不需要经过中间的拷贝过程，提高了处理网络数据的效率；此外，采用DPDK能够快速的对会话表进行更新、删除等处理，同样可以提高处理网络数据的效率。由于提高了处理网络数据的效率，因此本申请实施例提供的数据采集方法可以处理更大流量的网络数据。

在可选的实施方式中，在所述使用数据平面开发套件DPDK在用户态采集数据包之前，所述方法还包括：根据物理网卡的硬件信息生成与所述物理网卡对应的虚拟网卡；所述使用数据平面开发套件DPDK在用户态采集数据包，包括：利用所述虚拟网卡接收使用所述DPDK采集的所述数据包。在上述方案中，可以根据物理网卡的硬件信息生成对应的虚拟网卡，一个虚拟网卡可以代表一个真实的物理网卡，后续对网络数据进行处理的过程中，可以基于虚拟网卡进行操作，与直接基于物理网卡进行操作相比，更便于管理；此外，本申请实施例提供的数据采集方法还支持多个虚拟网卡同时采集流量，可以提高处理网络数据的效率。

在可选的实施方式中，所述使用所述DPDK基于所述数据包的五元组信息建立会话信息，并识别所述数据包的协议类型，包括：基于多核处理器建立多个线程；针对每个线程，使用所述DPDK基于所述数据包的五元组信息建立会话信息，并识别所述数据包的协议类型。在上述方案中，可以利用多核处理器分配多个会话处理线程，多个线程可以同时对网络数据进行处理，因此可以提高处理网络数据的效率。