[发明专利]一种基于Hadoop平台的网络主机漏洞扫描新方法

说明书

本发明提供了一种基于Hadoop平台的网络主机漏洞扫描新方法，其特征在于，包括一种基于Hadoop平台的一种数据清洗器，能够将大量扫描报文中重复、无效、误报的数据快速清洗掉，最后按照Hbase定义的格式分布式存储在集群中；一种基于MapReduce引擎的任务调度器，能够动态地分配计算资源，将任务分发到空闲的计算资源中，能够增加任务的可靠性，错误的任务会通过任务调度器重新下发至空闲资源；本发明过清洗器的清洗处理可以大大降低一次任务探测结果堆积的大量重复无效数据，能够充分利用各节点的CPU、内存等硬件资源，充分发挥分布式集群优势、提高扫描速度和容错率。

技术领域

本发明涉及网络安全技术领域，具体地说是一种基于Hadoop平台的网络主机漏洞扫描新方法。

背景技术

当今互联网产业快速扩张，物联网、企业网、校园网、政务网等快速发展，企业、校园和政府都大力建设自己的网站和内部网络，纷纷联通内部网Intranet与互联网Internet。云政务、云商务、云办公等已成为政府办公、企业发展不可多得的方式。然而当人们在享受网络带来的快捷同时，全球互联网也正接受着它带来的安全问题的挑战，随着国内经济快速发展，互联网全面普及，国内面临的安全问题正日益严峻。具体表现为：各种病毒肆意入侵和破坏计算机网络系统；计算机黑客破坏行为日益猖狂；各类网络基础设施受到网络安全的威胁日益增强；信息系统在预测、反应、防范和恢复能力方面存在许多薄弱环节等。因此，现有的网络安全系统虽然起到了较好的防护作用，但并不能完全解决整个骨干网络系统的安全问题。另外，必须有一套完整有效的备份方案和应急预案。

随着漏扫扫描系统的诞生，其在网络安全体系中扮演的重要角色越发重要。漏洞扫描系统，其工作原理是当用户通过控制平台发出了扫描命令之后，控制平台即向扫描模块发出相应的扫描请求，扫描模块在接到请求之后立即启动相应的子功能块，对被扫描主机进行扫描，通过对从被扫描主机返回的信息进行分析判断，扫描模块将扫描结果返回给控制平台，再由控制平台最终呈现给用户。

当前大部分漏洞扫描系统都是单机版或者采用传统关系型数据库的分布式部署，单机版受单机硬件限制，扫描大型网络时会出现扫描速度较慢、硬件成本高、无法扩展等问题，然而基于传统关系型数据库分布式部署的方案虽然可以解决单机版无法扩展的问题，但是传统的方式高可用性差，一个节点的宕机就有可能造成数据的大量丢失，造成检验结果不准确，轻则造成网络中未被发现的漏洞被利用，重则可能造成整个网络系统的瘫痪。

发明内容

本发明的目的在于提出一种基于Hadoop平台的网络主机漏洞扫描新方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供以下技术方案：

一种基于Hadoop平台的一种数据清洗器，将大量扫描报文中重复、无效、误报的数据快速清洗掉，最后按照Hbase定义的格式分布式存储在集群中，具体包括以下步骤：

S11、根据用户下发的配置，构建MapReduce任务，Hadoop会根据任务量分布式下发多个MapReduce任务，这些任务会对相应的主机发起探测，并接受探测的结果，接受的结果有ip(IP地址)、port(端口)、protocol(端口协议)、application(应用/服务)、version(应用版本)、result_key(各协议访问返回结果key)、result_cache(访问结果缓存)；

S12、提取历史数据的各相关的IP、端口、应用、版本、扫描结果，通过TF-IDF算法提取出各对应的关键字，并保存到存储集群中；

S13、缺失值数据的处理，这里使用热卡填充法对缺失值处理，当前某IP、端口、应用对应的扫描结果缺失时，使用Levenshtein距离算法计算出缺失值与历史库中距离最近的关键词，然后将距离最近并排在缺失值前的值作为代替方案；