[发明专利]一种用于网络大数据的管理系统及管理方法

说明书

本申请公开了一种网络大数据的管理系统及管理方法，通过将收集的原始数据分别为若干个数据包，再对若干个数据包进行逐一的检测其合法性，当判定数据包非法的情况下，丢弃非法数据包，并对非法数据包进行溯源和识别，同时，对非法数据包进行存储，并进行告警，避免非法数据的乱入，提高了大数据存储的安全性；同时，通过对数据包进行数据清洗和聚类分析，解决了数据分类混乱的问题；另外，通过对使用频率较低的数据包进行检测后，对使用频率较低的数据包进行压缩，获得压缩数据包，从而降低了使用频率低的数据占用的存储空间，提高了大数据存储的有效性。

技术领域

本申请涉及网络大数据技术领域，尤其涉及一种用于网络大数据的管理系统及管理方法。

背景技术

现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，而大数据则是这个高科技时代的产物。

有人说，未来的时代将不是IT时代，而是DT的时代，DT就是Data Technology数据科技。也有人把数据比喻为蕴藏能量的煤矿，煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。

与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是赢得竞争的关键。大数据的价值体现在以下几个方面：对大量消费者提供产品或服务的企业可以利用大数据进行精准营销；做小而美模式的中小微企业可以利用大数据做服务转型;面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值，大数据在日常使用中需要对数据进行存储管理。

但是常见的系统在使用时，不能对有害的违法信息进行筛选，使得数据库中混入大量的非法数据，影响大数据存储的正常使用，同时数据分类较为混乱，使用频率低的数据占用的存储空间较大，影响大数据存储空间的利用价值。

发明内容

本申请提供了一种用于网络大数据的管理系统及管理方法，用于解决现有的大数据管理无法对非法数据进行筛选，数据分类混乱且使用频率低的数据占用的存储空间较大的技术问题。

有鉴于此，本申请第一方面提供了一种用于网络大数据的管理系统，包括：数据收集模块、合法性检测模块、数据追踪模块、报警反馈模块、非法数据存储模块、数据录入模块、数据清洗模块、数据分类模块、数据使用频率检测模块、数据压缩模块、数据写入模块和大数据存储模块；

所述数据收集模块用于根据预设的采集节点收集原始数据，还用于根据所述预设的采集节点对所述原始数据分解为若干个数据包，还用于根据所述预设的采集节点生成与所述若干个数据包相应的序列号；还用于将所述若干个数据包传输至所述合法性判断模块；

所述合法性检测模块用于根据预设的合法性判别规则逐一对所述若干个数据包的数据格式和/或数据来源进行合法性检测，具体为，当数据包的数据格式和数据来源中任意一个条件非法时，则该数据包为非法数据包，当数据包的数据格式和数据来源均为合法时，则判定该数据包为合法数据包，还用于将所述合法数据包传输至所述数据录入模块；

所述数据追踪模块用于接收所述合法性检测模块传输的所述非法数据包，还用于获取所述非法数据包相应的序列号，还用于当所述非法数据包具体为数据格式非法且其数据来源合法时，则获取相应的所述非法数据的数据来源以及序列号；还用于将所述非法数据包传输至所述非法数据存储模块进行存储；还用于将所述非法数据包、及其相应的序列号或数据来源传输至所述报警反馈模块，以便于所述报警反馈模块进行告警以及提供相应的告警信息；

所述数据录入模块用于接收所述合法性检测模块传输的所述合法数据包，还用于将所述合法数据包传输至所述数据清洗模块；

所述数据清洗模块用于接收所述数据录入模块传输的所述合法数据包，还用于对所述合法数据包进行数据清洗；还用于将数据清洗后的所述合法数据包传输至所述数据分类模块；