[发明专利]一种数据预处理系统

说明书

本申请公开了一种数据预处理系统，所述数据预处理系统由交换单元、存储单元和处理单元构成，结构较为简单，整体搭建难度较低，有利于提高搭建效率。并且在所述数据预处理系统中，所述处理单元由多个主处理器配合多个异构加速模块构成，其中主处理器用于对原始数据的分发和存储，所述异构加速模块主要用于对原始数据的预处理，所述主处理器和异构加速模块之间相互配合，且分工明确，有利于降低系统管理难度，降低运维难度和成本。另外，所述数据预处理系统可以通过灵活配置处理单元中主处理器和异构加速模块的数量，实现数据预处理系统对应原始数据进行预处理能力的配置，也可以通过配置不同的异构加速模块，满足不同应用的需求。

技术领域

本申请涉及计算机应用技术领域，更具体地说，涉及一种数据预处理系统。

背景技术

网络数据预处理，是指在大数据等和其他相关应用场景下，对海量数据进行高速并行化的数据压缩解压缩、数据加解密、哈希和校验运算、去冗余、排序和查找等运算处理。网络数据预处理是后续数据存储和网络数据还原等应用的基础上。

随着互联网的飞速发展，用户业务数据流量呈爆炸式增加，网络数据与处理系统的重要性日益突出，但现有技术中的网络数据预处理系统大多需要运维人员自行搭建，采购各类不同的设备进行安装调试，不仅搭建效率较低，而且管理难度和运维成本较高。

发明内容

为解决上述技术问题，本申请提供了一种数据预处理系统，以实现提降低数据预处理系统的搭建难度，提高搭建效率，降低管理难度和运维成本的目的。

为实现上述技术目的，本申请实施例提供了如下技术方案：

一种数据预处理系统，包括：交换单元、存储单元和处理单元；其中，

所述处理单元包括多个主处理器和多个与所述主处理器一一对应的异构加速模块；

所述交换单元，用于接收原始数据，并将所述原始数据分发给多个所述主处理器；和用于在接收到第一指令时，接收所述异构加速模块的预处理数据，并将所述预处理数据向外发送；

所述主处理器，用于接收原始数据，并对所述原始数据分发给与所述主处理器对应的异构加速模块；和用于在接收到第二指令时，将所述异构加速模块输出的预处理数据存储在所述存储单元中；

所述异构加速模块，用于对所述原始数据进行数据预处理，以获得所述预处理数据；

所述异构加速模块的功能基于Verilog HDL语言实现；

所述交换单元的接口标准化通过采用OpenCL开源框架实现。

可选的，所述交换单元将所述原始数据分发给多个所述住处立体具体用于，对所述原始数据进行汇聚和负载均衡处理后分发给多个所述主处理器。

可选的，所述交换单元为万兆交换机。

可选的，所述异构加速模块包括：预处理执行模块、预处理存储模块、外围控制模块和数据存储模块；其中，

所述预处理执行模块，用于接收所述原始数据，并调用所述预处理存储模块存储的预设程序，以对所述原始数据进行预处理；

所述外围控制模块，用于对所述异构加速模块进行外围控制监控功能，所述外围控制监控功能至少包括上电、下电和温度监控；

所述数据存储模块，用于为所述预处理执行模块提供预处理过程中初始数据、中间数据和最终数据的存储空间，所述最终数据通过所述预处理执行模块作为所述预处理数据进行输出。

可选的，所述异构加速模块具体用于，对所述原始数据进行数据压缩、数据解压缩、数据加密、数据解密、哈希运算、校验运算、去冗余运算、排序运算和查找运算中的至少一项运算处理。