[发明专利]一种基于大数据的信息收集分析系统

说明书

本发明涉及大数据分析领域，具体涉及一种基于大数据的信息收集分析系统，包括：数据挖掘模型构建模块，用于基于数据收集规则生成对应的数据挖掘模型；数据分析模型构建模块，用于基于录入的数据分析目标生成对应的数据分析模型；数据挖掘模块，用于采用网络爬虫模块基于数据挖掘模型实现目标数据的挖掘，生成目标数据集；数据分析模块，用于为每一个目标数据集配置一个计算节点，并为每一个计算节点配置对应的数据分析模型，基于Hadoop同步运行数据分析模型实现目标数据集的分布式分析，得到对应的数据分析结果。本发明可以实现目标数据的实时高效采集、分析，将其转换成具有商业价值的可用数据，从而尽可能的发挥其价值。

技术领域

本发明涉及大数据分析领域，具体涉及一种基于大数据的信息收集分析系统。

背景技术

在大数据时代，网络中的信息量呈现爆炸式增长，如何实现这些数据的利用，从而是发挥其价值，是当前研究的热点。

目前，现有的信息收集分析系统直观显示数据较为单一，且多是利用人工计算对优质数据进行筛选，筛选计算方式较为单一，不能有效实时的获取需要的目标数据的同时，存在很大的信息采集漏洞，大大降低了大数据的可利用价值。

发明内容

为解决上述问题，本发明提供了一种基于大数据的信息收集分析系统，可以实现目标数据的实时高效采集、分析，将其转换成具有商业价值的可用数据，从而尽可能的发挥其价值。

为实现上述目的，本发明采取的技术方案为：

一种基于大数据的信息收集分析系统，包括：

数据挖掘模型构建模块，用于基于数据收集规则生成对应的数据挖掘模型；

数据分析模型构建模块，用于基于录入的数据分析目标生成对应的数据分析模型；

数据挖掘模块，用于采用网络爬虫模块基于数据挖掘模型实现目标数据的挖掘，生成目标数据集；

数据分析模块，用于为每一个目标数据集配置一个计算节点，并为每一个计算节点配置对应的数据分析模型，基于Hadoop同步运行数据分析模型实现目标数据集的分布式分析，得到对应的数据分析结果。

进一步地，所述数据挖掘模型构建模块内载数据挖掘模型训练程序和数据模型更新程序，每更新一次数据收集规则，数据挖掘模型训练程序/数据模型更新程序运行一次。

进一步地，所述数据分析模型构建模块内载数据分析模型训练程序和数据分析模型更新程序，每更新一次数据分析目标，数据分析模型训练程序/数据分析模型更新程序运行一次。

进一步地，还包括：

数据填充模块，用于基于NMKNN填充算法实现所采集到的目标数据的填充处理。

进一步地，还包括：

分析报表编制模块，用于基于预设的模板实现数据分析报表的编制，每一条分析条目均包括源目标数据集、数据分析目标及对应的分析结果。

进一步地，还包括：数据收集规则编制模块，用于根据录入的数据分析目标，基于网络爬虫模块根据数据分析目标实现与其存在关联关系的数据的挖掘，然后基于主成分法获取所挖掘到的数据的特征参数，即得数据收集规则。

进一步地，所述数据收集规则编制模块基于Bi-LSTM+Attention模型实现与其存在关联关系的数据的挖掘。

进一步地，还包括：自定义分析模块，用于根据用户预设的时间/数据对象/数据量区间，在到达预设的时间/或发现预设的数据对象/或到达预设的数据量区间时，启动对应的数据分析模型实现自定义区间内的目标数据集的分析。

本发明具有以下有益效果：