[发明专利]一种海量数据高速处理、交互的系统及方法

说明书

本发明公开了一种海量数据高速处理、交互的系统及方法，其中系统包括数据收发模块、中央处理模块和数据处理模块。数据收发模块用于收发数据，中央处理模块根据GPU的数量n，开辟n块环形缓冲区，缓冲接收的数据，在积攒了一定的数据量后或一定时间内将数据拷贝至系统内存，并事先将系统内存直接映射到各GPU，待GPU处理完毕后将处理后的结果通过数据收发模块发出；数据处理模块通过DMA映射获取内存中对应的数据，控制对应的GPU进行多线程高并发处理，并将处理后的结果返回给中央处理模块。本发明实现了NIC与GPU之间的海量数据高速交互，即提高了系统的海量网络数据处理能力及交互能力，为网络实时分析提供了更可靠的技术支持。

技术领域

本发明涉及海量数据的处理及交互技术，尤其涉及海量数据高速处理及交互的系统及方法。

背景技术

目前网卡的数据包处理采用多核多队列架构，线程与核绑定，每个线程处理一个队列中的数据包。内核中先分配一个大的环形缓冲区，该缓冲区切割成若干个内存节点。网卡接收数据包时，从环形缓冲区中获取内存节点，并将数据DMA到内存节点上。并维护一个接收队列环，该环中保存数据包的内存节点地址。当应用程序打开一个接收队列捕包，这个接收队列环和内核先分配好的大的环形缓冲区会映射到应用的进程空间，应用层只需要根据接收队列环就可以获取数据包的内存。这种方式简称零拷贝，能够较大的提高网络数据的捕获性能，数据包的捕获后的处理都是在CPU上，但在高性能的网络中（40GE），实时网络的分析面临极大的挑战，即使利用多CPU多线程，基于硬件的限制，CPU的核也无法达到足够多来实现高并发，容易出现丢包。

名词解释：

网卡，也叫“网络适配器”，英文全称为“Network Interface Card”，简称NIC。

图形处理器，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上图像运算工作的微处理器，英文全称“Graphics Processing Unit”，简称GPU。

存储器直接访问，是指一种高速的数据传输操作，允许在外部设备和存储器之间直接读写数据，既不通过CPU，也不需要CPU干预，英文全称“Direct Memory Access”，简称DMA。

发明内容

本发明为了解决上述现有技术的问题，提出一种海量数据高速处理、交互的系统，包括：数据收发模块，用于与网络连接接收或发送数据；中央处理模块，根据数据处理模块中GPU的数量n，开辟n块环形缓冲区，缓冲数据收发模块接收的数据，在积攒了一定的数据量后或一定时间内将数据拷贝至系统内存，并事先将系统内存直接映射到各GPU，待GPU处理完毕后将处理后的结果通过数据收发模块发出；数据处理模块，包含至少一个GPU，所述数据处理模块通过DMA映射获取内存中对应的数据，控制对应的GPU进行多线程高并发处理，并将处理后的结果返回给中央处理模块。

同时，本发明还提出了一种海量数据高速处理、交互的方法，包括如下步骤：

步骤1：中央处理模块根据GPU的数量n，开辟n块的环形缓冲区，将每块环形缓冲区分割成若干节点，并将环形缓冲区映射到系统的应用层；

步骤2：中央处理模块将内存映射到GPU；

步骤3：数据到达数据收发模块后，通过分流的机制选择对应的环形缓冲区，通过DMA映射到对应的环形缓冲区的节点中；

步骤4：中央处理模块判断每个环形缓冲区中的数据包是否已经到达了对应的GPU批量处理的数量，若已到达，则执行下一步骤，若未到达，则等待固定的时间后再执行下一步骤；

步骤5：中央处理模块将环形缓冲区内的数据包进行整理，拷贝到事先映射到GPU的系统内存中；

步骤6：GPU开启多线程高并发处理数据包，并将处理后的数据包返回给中央处理模块；