[发明专利]一种大数据处理系统

说明书

本发明公开了一种大数据处理系统，包括：大数据采集模块、与大数据采集模块依次连接的大数据归纳模块、大数据预处理模块、大数据处理模块、大数据发送模块、大数据接收模块、大数据控制模块和大数据可视化模块；通过采集互联网上的前期数据，将其进行归纳分类并进行冗余判断、数据清理、优化和转换处理，最后通过所述大数据控制模块控制数据的传输和结果的显示，实现了数据处理速度快，效率高，保证数据传输过程中网络顺畅，并防止数据丢失的技术效果。

技术领域

本发明涉及计算机技术领域，更具体的说是涉及一种大数据处理系统。

背景技术

目前，随着计算机技术和互联网的飞速发展，电子信息数据逐渐成为人们研究的重点，人们日常生活均离不开各种各样的数据，许多政府和企业都在进行大数据的建设，而大数据建设对企业的发展方向，政府的管理水平和服务方式的改进都起到非常重要的作用，进而大数据成为了目前研究的热点。随着现代信息技术的不断发展，世界已跨入了互联网+大数据时代。全球正掀起以融合、渗透、创新为特点的新一轮信息革命。大数据已成为世界主要国家抢占新一轮经济和科技发展制高点的重大战略选择。

现有的大数据处理系统存在着大数据的数据来源众多，数据量大，导致对于数据处理的硬件要求依旧较高，这就限制了大数据技术的进一步普及，且传统处理系统具有速度慢，效率低的问题。且现有的大数据处理中，往往是将数据都集中到一起后，再进行分类，造成后期工作量大，因数据量巨大，造成接收数据时网络堵塞，从而存在数据丢失的问题。

因此，如何提供一种大数据处理系统是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种大数据处理系统，数据处理速度快，效率高，保证数据传输过程中网络顺畅，并防止数据丢失。

为了实现上述目的，本发明采用如下技术方案：

一种大数据处理系统，包括：大数据采集模块、与所述大数据采集模块依次连接的大数据归纳模块、大数据预处理模块、大数据处理模块、大数据发送模块、大数据接收模块、大数据控制模块和大数据可视化模块；

其中，所述大数据采集模块用于采集互联网上的前期数据；

所述大数据归纳模块用于对采集的前期数据进行归纳分类；

所述大数据预处理模块用于对分类后的数据进行预处理；

所述大数据处理模块用于根据所述大数据预处理模块预处理的结果对原始数据进行处理，并将处理的结果传输至所述大数据发送模块；

所述大数据发送模块用于发送处理后的数据；

所述大数据接收模块用于接收所述大数据发送模块发送的数据；

所述大数据控制模块包括中央控制器，所述中央控制器用于采集所述大数据接收模块的状态控制数据的传输，将最终结果数据传输到所述大数据可视化模块；

所述大数据可视化模块将最终结果数据进行可视化展示。

优选的，所述大数据采集模块包括系统日志采集模块、网络采集模块和传感器。

优选的，所述前期数据包括文件日志、数据库日志、关系型数据库的接入和应用程序的接入。

优选的，所述大数据归纳模块依据大数据类型将采集的前期数据特征进行归纳分类，所述大数据类型包括业务问题。

优选的，所述大数据预处理模块包括数据冗余判断单元、数据清理单元、数据优化单元和数据转换单元；所述数据冗余判断单元用于判断分类数据是否为冗余的无用数据，所述数据清理单元用于消除噪声和删除所述无用数据，所述数据优化单元用于对保留的数据进行优化，所述数据转换单元通过汇总或聚集操作，把数据变换和统一成适合挖掘的形式。