[发明专利]一种大数据处理系统

权利要求书

1.一种大数据处理系统，其特征在于，包括：大数据采集模块(1)、与所述大数据采集模块(1)依次连接的大数据归纳模块(2)、大数据预处理模块(3)、大数据处理模块(4)、大数据发送模块(5)、大数据接收模块(6)、大数据控制模块(7)和大数据可视化模块(8)；

其中，所述大数据采集模块(1)用于采集互联网上的前期数据；

所述大数据归纳模块(2)用于对采集的前期数据进行归纳分类；

所述大数据预处理模块(3)用于对分类后的数据进行预处理；

所述大数据处理模块(4)用于根据所述大数据预处理模块(3)预处理的结果对原始数据进行处理，并将处理的结果传输至所述大数据发送模块(5)；

所述大数据发送模块(5)用于发送处理后的数据；

所述大数据接收模块(6)用于接收所述大数据发送模块(5)发送的数据；

所述大数据控制模块(7)包括中央控制器，所述中央控制器用于采集所述大数据接收模块(6)的状态控制数据的传输，将最终结果数据传输到所述大数据可视化模块(8)；

所述大数据可视化模块(8)将最终结果数据进行可视化展示。

2.根据权利要求1所述的一种大数据处理系统，其特征在于，所述大数据采集模块(1)包括系统日志采集模块、网络采集模块和传感器。

3.根据权利要求1所述的一种大数据处理系统，其特征在于，所述前期数据包括文件日志、数据库日志、关系型数据库的接入和应用程序的接入。

4.根据权利要求1所述的一种大数据处理系统，其特征在于，所述大数据归纳模块(2)依据大数据类型将采集的前期数据特征进行归纳分类，所述大数据类型包括业务问题。

5.根据权利要求1所述的一种大数据处理系统，其特征在于，所述大数据预处理模块(3)包括数据冗余判断单元、数据清理单元、数据优化单元和数据转换单元；所述数据冗余判断单元用于判断分类数据是否为冗余的无用数据，所述数据清理单元用于消除噪声和删除所述无用数据，所述数据优化单元用于对保留的数据进行优化，所述数据转换单元通过汇总或聚集操作，把数据变换和统一成适合挖掘的形式。

6.根据权利要求1所述的一种大数据处理系统，其特征在于，所述大数据处理模块(4)包括数据挖掘单元、数据分析单元。

7.根据权利要求1所述的一种大数据处理系统，其特征在于，所述中央控制器根据采集的状态建立接收队列表，接收队列表内保存所述大数据接收模块(6)中各个服务器的工作状态和繁忙程度。

8.根据权利要求1所述的一种大数据处理系统，其特征在于，所述中央控制器以循环的方式侦测发送队列表，并依据接收队列表记录的数据控制数据的传输。