[发明专利]一种分布式的Web组件服务探测系统

权利要求书

1.一种分布式的Web组件服务探测系统，其特征在于，包括：分布式调度模块、爬虫模块、Web服务器识别模块、Web组件指纹识别模块以及主机服务探测模块；

所述分布式调度模块，用于提交和管理探测作业，查看任务的完成进度，管理整个系统各个节点的资源，并对作业进行任务分片，均衡的调度分配到各个计算节点，同时可以对节点及任务的异常情况容错；

所述爬虫模块，用于对任务队列中的任务分片进行网站页面内容的爬取；

所述Web服务器识别模块，用于探测识别Web站点所用的Web服务器的类型和版本信息；

所述Web组件指纹识别模块，用于识别站点使用的应用组件的类型、名称以及版本信息；

所述主机服务探测模块，用于探测识别站点主机的操作系统类型及版本、所开放的常用端口服务信息。

2.根据权利要求1所述的分布式的Web组件服务探测系统，其特征在于，所述分布式调度模块用于管理和调度整个系统探测作业的生命周期，其运行在普通计算节点组成的集群中，利用多个工作节点的处理能力，对海量Web组件和主机信息进行探测识别；

所述分布式调度模块接收用户提交的多个探测作业，管理所有作业队列，并实时的获取每个作业及任务分片的执行情况；监控每个计算节点的资源，根据节点的负载，动态地将一个作业分成多个任务分片，并分配到具体的计算节点执行，通过心跳通信，及时地调度任务；对于任务执行过程中出现的异常，可以及时的捕捉，并采用重试和容错机制，保证系统高效稳定的运行。

3.根据权利要求1所述的分布式的Web组件服务探测系统，其特征在于，所述任务分片为种子URL；

所述爬虫模块对于待爬取组织的种子URL，动态的爬取该组织范围内的所有站点数据，并自动过滤外站链接，分析和提取出兄弟链接，采用动态代理技术收集调度模块分配的URL列表所对应网站的页面内容；

所述爬虫模块的爬取过程为：采用广度优先搜索算法，从种子URL出发，下载页面内容并分析出同一范围或者机构的有效链接加入待爬取队列，在爬取的过程中，动态的使用代理和优化的爬取策略，根据服务端的响应，调整采集的频率、时间和访问IP，从而有效的避开各种反爬虫机制，保证准确完整的抓取种子URL对应的Web页面。

4.根据权利要求1所述的分布式的Web组件服务探测系统，其特征在于，所述Web服务器识别模块使用主动探测的手段，根据服务端HTTP的响应报文的特征行为分析出具体的Web服务器类型和版本信息；

所述Web服务器识别模块的识别过程为：其向Web站点的主页地址发送一个TCP探测报文，若能够连接，则发送多种HTTP探测报文并获取响应报文，从响应报文中分析提取特征信息生成指纹，与指纹库的数据静态匹配，统计各个Web服务器的匹配指纹数，选取其中的最大匹配值作为该站点的Web服务器，并给出相应的置信度。

5.根据权利要求1所述的分布式的Web组件服务探测系统，其特征在于，所述Web组件指纹识别模块从爬虫模块中取出该站点的Web页面内容，同时构造多种畸形的HTTP请求，从服务端的响应报文中提取出关键字、静态文件、特殊文件结构、Cookie以及异常页面信息，将上述5类特征构造成该站点的组件指纹，并在组件指纹库中静态匹配，取命中该站点指纹的应用组件，即为该Web站点所使用的应用组件。

6.根据权利要求1所述的分布式的Web组件服务探测系统，其特征在于，所述主机服务探测模块从爬虫模块中取出该站点的IP地址，向该IP的常用端口列表发送测试连接，获取响应报文，然后将每个响应报文各计算出一个Hash值，并在主机服务指纹库中比对这些Hash值，从而识别出该主机的操作系统类型及版本、所开放的常用端口服务信息，并将识别出的数据与该站点的组件信息结合，从而实现组件和主机的全面识别。

7.根据权利要求1至6任一项所述的分布式的Web组件服务探测系统，其特征在于，还包括：组件指纹库模块；

所述组件指纹库模块，用于存储所有的Web组件指纹。

8.根据权利要求1至6任一项所述的分布式的Web组件服务探测系统，其特征在于，还包括：主机服务指纹库模块；

所述主机服务指纹库模块，用于存储所有的主机及服务指纹信息。