[发明专利]一种支持网络产品信息查询的众核平台深度包检测装置及方法

说明书

本发明涉及一种支持网络产品信息查询的众核平台深度包检测装置及方法，该装置使用三颗TILE‑Gx36众核处理器。其中一颗负责完成数据预处理，另外两颗众核处理器各自独立完成DPI、产品信息查询与数据整合、输出等功能。众核按照一定的核心分配方案，并借助产品信息库完成以上三种功能。本发明利用众核的并行处理能力完成对原始网络数据包内容级别的DPI处理，与传统方法相比，计算性能、功耗比大幅提升，实时性强，集成度高。

技术领域

本发明属于DPI(Deep Packet Inspection，深度包检测)技术领域，具体涉及一种支持网络产品信息查询的众核DPI装置及方法。

背景技术

当前的网络监测系统与网络安全系统中普遍使用了DPI，但是传统的基于网络端口的DPI已经无法满足需求，内容级别的DPI渐渐受到重视，利用爬虫建立网络产品信息库有助于实现内容级别的DPI。另外，随着网络流量的爆炸式增长，传统的使用x86架构服务器的DPI系统在性能方面显现出了严重的不足。为了提高性能当前业界普遍采用众核服务器，众核服务器使用的众核处理器是为了实现高度的并行运算而设计的，它包含大量的简单并独立的处理核心，并广泛用于嵌入式计算机和高性能计算。2016年6月公布的世界超算冠军“神威太湖之光”就使用了40960个260核心的SW26010众核芯片。但由于产品信息库较大，众核服务器的内存与存储空间有限，所以在实时DPI时需要查询外置产品信息库。但支持实时产品信息库查询的众核平台DPI系统未见报道。

发明内容

本发明的目的是为了克服现有技术的缺陷和不足，提供一种高性能的支持网络产品信息查询的众核DPI装置，该装置也可作为内容级别的访问控制系统的重要组成部分；同时还提出一种支持网络产品信息查询的众核平台深度包检测方法。

本发明之一的目的是通过以下技术方案来实现的，一种支持网络产品信息查询的众核平台深度包检测装置，包括一颗第一众核处理器、两颗第二众核处理器和交换芯片；

所述第一众核处理器包括第一数据包预处理模块，所述第二众核处理器包括第二数据包预处理模块，所述第二数据包预处理模块包括众核DPI模块、产品信息查询数据整合模块和输出模块；

所述第一数据预处理模块用于过滤掉不需要进一步匹配查询的数据包，完成HTTP协议包中GET数据包的提取，并将这些数据包(指过滤掉后的数据包和GET数据包)通过mPIPE发出到交换芯片上；进入交换芯片的数据包被平均分给第二众核处理器，

所述众核DPI模块完成数据包的元数据提取以及Web应用识别，并根据数据包对应的Web应用提取出产品ID；众核DPI模块得到的元数据、WebID、产品ID都存储在xDR结构体中，并通过RingBuffer传递给产品信息查询和数据整合模块；

产品信息查询和数据整合模块根据众核DPI模块得到的Web应用以及产品ID通过查询接口，查询的结果、数据包的元数据、WebID一并整合以字符串的形式被存放在缓存中，该缓存用于存储多条整合数据，存满之后传递给输出模块；

输出模块将各产品信息查询和数据整合模块对应的输出队列上取下数据，发送给其他主机，完成数据的存储。

进一步，所述第二众核处理器包括m个DPI线程、n个产品信息查询与数据整合线程和一个输出线程；DPI线程与产品信息查询与数据整合线程之间通过RingBuffer进行数据传递；DPI线程将以轮询的方式，将众核DPI模块处理的中间结果分发给n个RingBuffer；每个产品信息查询与数据整合线程对应单个RingBuffer，并循环的从其中提取数据处理；最终所有产品信息查询与数据整合线程处理的结果同样以RingBuffer的形式传递给单个输出线程输出。

进一步，线程以及线程间数据传递使用的数据结构的分配都在装置运行前的初始化阶段完成。

本发明之二的目的是通过以下技术方案来实现的，一种支持网络产品信息查询的众核平台深度包检测方法，包括