[发明专利]一种数据预处理系统

权利要求书

1.一种数据预处理系统，其特征在于，包括：交换单元、存储单元和处理单元；其中，

所述处理单元包括多个主处理器和多个与所述主处理器一一对应的异构加速模块；

所述交换单元，用于接收原始数据，并将所述原始数据分发给多个所述主处理器；和用于在接收到第一指令时，接收所述异构加速模块的预处理数据，并将所述预处理数据向外发送；

所述主处理器，用于接收原始数据，并对所述原始数据分发给与所述主处理器对应的异构加速模块；和用于在接收到第二指令时，将所述异构加速模块输出的预处理数据存储在所述存储单元中；

所述异构加速模块，用于对所述原始数据进行数据预处理，以获得所述预处理数据；

所述异构加速模块的功能基于Verilog HDL语言实现；

所述交换单元的接口标准化通过采用OpenCL开源框架实现。

2.根据权利要求1所述的数据预处理系统，其特征在于，所述交换单元将所述原始数据分发给多个所述住处立体具体用于，对所述原始数据进行汇聚和负载均衡处理后分发给多个所述主处理器。

3.根据权利要求2所述的数据预处理系统，其特征在于，所述交换单元为万兆交换机。

4.根据权利要求1所述的数据预处理系统，其特征在于，所述异构加速模块包括：预处理执行模块、预处理存储模块、外围控制模块和数据存储模块；其中，

所述预处理执行模块，用于接收所述原始数据，并调用所述预处理存储模块存储的预设程序，以对所述原始数据进行预处理；

所述外围控制模块，用于对所述异构加速模块进行外围控制监控功能，所述外围控制监控功能至少包括上电、下电和温度监控；

所述数据存储模块，用于为所述预处理执行模块提供预处理过程中初始数据、中间数据和最终数据的存储空间，所述最终数据通过所述预处理执行模块作为所述预处理数据进行输出。

5.根据权利要求1所述的数据预处理系统，其特征在于，所述异构加速模块具体用于，对所述原始数据进行数据压缩、数据解压缩、数据加密、数据解密、哈希运算、校验运算、去冗余运算、排序运算和查找运算中的至少一项运算处理。

6.根据权利要求1所述的数据预处理系统，其特征在于，所述主处理器还用于以队列的方式排列并缓存所述原始数据，以使得在分发过程中，所述原始数据依序分发给与所述主处理器对应的异构加速模块。

7.根据权利要求6所述的数据预处理系统，其特征在于，所述主处理器还用于以队列的方式排列并缓存所述预处理数据，以使得在存储过程中，所述预处理数据依序存储在所述存储单元中。

8.根据权利要求1所述的数据预处理系统，其特征在于，所述主处理器包括飞腾ARM处理器。

9.根据权利要求1所述的数据预处理系统，其特征在于，所述异构加速模块包括IntelStratix-V FPGA异构加速模块。