[发明专利]一种基于物联网大数据的设备信息采集系统

说明书

本发明公开了一种基于物联网大数据的设备信息采集系统，包括：数据采集任务生成模块、通信通道搭建模块、目标数据采集终端、数据特征提取模块、数据可用性审核模块、目标数据采集终端工况监测模块和数据定位模块。本发明采用目标数据采集终端的分布式调度、协同工作方式，实现设备信息的分散采集、统一存储管理，可以实现高效而准确的设备信息采集。

技术领域

本发明涉及数据采集领域，具体涉及一种基于物联网大数据的设备信息采集系统。

背景技术

对大规模网络甚至整个互联网进行联网设备的信息采集，有助于掌握互联网空间的整体安全情况，为保护重要的联网系统提供信息支持，从而在网络攻击发生前及时排查出存在问题的设备，或者在网络攻击发生时确定影响范围并快速做出响应。目前对大规模网络进行信息采集通常采用分布式的组织架构，以避免单点探测的网络带宽限制，同时可以方便地扩展整个系统的信息采集能力。

但是现有信息采集方法存在的问题是，每个探测节点探测的IP地址基本属于同一子网网段或相邻子网网段，如果要进行快速信息采集，则容易出现单个探测节点向对应网段频繁发送网络数据包的行为，这些流量有可能会被目标网段判定为异常流量，导致探测节点IP地址被目标网段封禁，进一步导致采集到的设备信息数量远低于实际情况。

发明内容

为解决上述技术问题，本发明提供了一种基于物联网大数据的设备信息采集系统，可以实现高效而准确的设备信息采集，且提高了目标数据源的准确性和可靠性。

为实现上述目的，本发明采取的技术方案为：

一种基于物联网大数据的设备信息采集系统，包括：

数据采集任务生成模块，用于通过用户交互模块获取采集任务，根据采集任务确定需调用的目标数据采集终端，并制定各目标数据采集终端的数据采集任务；

通信通道搭建模块，用于根据数据采集任务搭建各目标采集终端与监控终端的通讯通道，且所有的通讯通道独立不相通；

目标数据采集终端，用于接收所述数据采集任务，通过多端口进行目标数据的采集，并将采集到的目标数据发送到数据特征提取模块；

数据特征提取模块，采用MapReduce提取所述目标数据的特征数据；

数据可用性审核模块，基于可用性标准实现目标数据可用性的评估，当评估结果录入设定的不可用门限时，预警模块启动；

目标数据采集终端工况监测模块，在预警模块启动后启动，用于根据预警模块的预警信息接入相应的目标采集终端实现目标采集终端工况的监测，并输出对应的监测结果；

数据定位模块，基于所述特征数据为符合可用性标准的目标数据在数据库中找到合适的位置，并为其找到相似数据点，建立其与相似数据点之间的关系。

进一步地，所述数据可用性审核模块基于所述特征数据计算所采集到的数据与目标数据的相关性，并基于该相关性完成目标数据可用性的评估，当相关性录入设定的不可用门限时，预警模块启动。

进一步地，所述预警模块基于GSM通讯模块将预警信息发送至目标数据采集终端工况监测模块，所述预警信息至少包括目标数据采集终端的编号，所述目标数据采集终端均采用唯一的身份编号。

进一步地，还包括一数据采集任务更新模块，基于数据定位模块所接收到的数据与数据采集任务完成各目标采集终端采集任务完成进度的计算，并输出计算结果，在数据采集任务完成度到达百分百后，对应的目标采集终端自动停止采集工作，接收新的任务。

进一步地，还包括一目标数据采集终端调用模块，用于根据目标数据采集终端工况监测模块的评估结果实现对应的目标数据采集终端的启用/关闭。