[发明专利]一种基于DPDK技术开发的高性能数据采集引擎方法

说明书

本发明公开了一种基于DPDK技术开发的高性能数据采集引擎方法，通过DPDK‑based DCE的线程模型设计、DPDK‑based DCE的CPU核分配及绑定设计、DPDK‑based DCE架构的数据流转发及核分布设计、DPDK‑based DCE架构的进线程模型设计、DPDK‑based DCE架构的进线程事件处理流程表大的技术方案支撑了数据高性能采集的实现，基础系统运行时就实现了较少的上下文切换、更少的数据复制、并提高了性能，实现对Linux应用程序进行很少的更改或者无需修改，通过IXIA IxChariot仪表测试，得到数据表明以DPDK为基础的数据包动态转发技术解决了传统x86 CPU核性能无法充分利用的问题，实现了分核、绑核等复合利用CPU计算资源的目的，达到了在Linux环境下，用多核CPU可线速转发数据包的目的。

技术领域

本发明涉及大数据领域，具体是一种基于DPDK技术开发的高性能数据采集引擎方法。

背景技术

现在大数据已经成为一个热门的行业，无论是大数据存储还是数据信息挖掘，都是非常具有价值的。高性能数据采集引擎DPDK-based DCE^TM(Data Collection Enginebase on Data Plane Development Kit)技术是基于Linux+DPDK开发的高性能业务支撑平台并通过DCE技术实现数据包高效采集的一个科学方案。

DPDK-based DCE技术架构中的一个研发关键点是将高速数据捕获和交付能力模块运行环境相关的数据移植到用户空间，形成精简运行时环境，通过截取系统调用的方式使得管理程序能够使用Linux内核之外的环境，而管理程序和Linux内核均不会意识到这一点。这样就实现了较少的上下文切换、更少的数据复制、并提高了性能，而只需对Linux管理程序进行很少的更改或者无需修改。

通过IXIA IxChariot仪表测试，得到数据表明基于DPDK-based DCE技术架构的数据采集性能是传统Linux libpcap数据采集性能的12.7倍；平均性能也都在10倍以上。从而以DPDK为基础的数据包高效采集技术解决了传统x86 CPU核性能无法充分利用的问题，实现了分核、绑核等复合利用CPU计算资源的目的，达到了在Linux环境下，用多核CPU可线速采集数据包的目的。

发明内容

本发明的目的在于提供一种基于DPDK技术开发的高性能数据采集引擎方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于DPDK技术开发的高性能数据采集引擎方法，其方法实施步骤如下：

(1)基于DPDK技术开发的高性能数据采集引擎平台；

(2)基于Soft-ASIC的多桥性能倍增技术；

(3)数据工具集研发：包括数据采集工具集研发和数据存储工具集研发。

作为本发明进一步的方案：所述步骤(1)中的基于DPDK技术开发的高性能数据采集引擎平台是基于Linux+DPDK开发的高性能业务支撑平台并通过DCE技术实现数据包高效采集实现，DPDK-based DCE引擎实现了基于Linux系统的高速IP数据包捕获的基础架构，高性能数据采集、分析和处理系统基于Linux和DPDK-based DCE架构建立，在该架构基础上通过开发专用的用户态内存管理、缓存管理、定时器、读写锁、线程锁、核间通讯等构成专用的网络加速平台，实现最佳性能。

作为本发明进一步的方案：所述步骤(1)中的基于DPDK技术开发的高性能数据采集引擎平台包括用户态业务精简运行时环境的实现，主要是精简运行时环境和业务应用加速两大模块，精简运行时环境主要实现了业务应用运行时所需的进程管理、内存管理、进程间通讯等内核需要做的工作，重新构建了业务应用运行时使用的内存、虚拟页、缓冲、调度、中断、信号、定时器、锁机制等。