[发明专利]一种基于机器学习的伪静态URL识别方法及系统

说明书

技术领域

本发明属于信息技术领域，具体涉及一种基于机器学习的伪静态URL识别方法及系统。

背景技术

漏洞扫描是指在一方授权的情况下，另一方对其指定范围进行扫描，尝试检测其网站/服务器是否存在漏洞，用以检测其网站或产品的安全性；漏洞扫描人员使用专业的漏洞扫描器进行漏洞扫描，并对扫描结果进行验证，以期发现和挖掘系统中存在的漏洞，然后输出漏洞扫描报告，并提交给网络所有者。网络所有者根据漏洞扫描人员提供的报告，可以清晰知晓系统中存在的安全隐患和问题。

目前，使用各类Web开发框架进行开发的网站，其URL均是伪静态形式。常见的Web漏洞扫描器均是通过对网站URL进行采集并作为目标进行扫描，扫描时所测试的目标一般是URL中的参数部分，如果不能准确识别伪静态URL则会遗漏大量的测试点，造成扫描效果较差的结果。

发明内容

本发明针对上述问题，提供一种基于机器学习的伪静态URL识别方法及系统，通过采用TF-IDF等向量化算法对URL的伪静态特征进行加权，实现URL文本的向量化，从而进行分类算法的训练与识别。能够准确识别伪静态URL，通过将其应用于Web扫描产品的核心引擎部分，从而提升安全产品核心引擎的工作能力。

本发明采用的技术方案如下：

一种基于机器学习的伪静态URL识别方法，其步骤包括：

收集具有静态特征的URL，生成静态URL字典；

对已知的伪静态URL字典和前述静态URL字典中的URL进行向量化；

通过分类算法对得到的向量化后的URL进行训练；

将需要识别的目标URL输入训练好的分类算法进行识别分类，判断其是否是伪静态URL。

进一步地，收集具有静态特征的URL，生成静态URL字典包括：

通过爬虫程序对一定规模的样本网站进行页面爬取，使用BeautifulSoup库匹配其链接，获取整站目录；

使用爬虫程序对已爬取的链接再次爬取，调整挖掘深度以完善整站目录的完整性；

对爬取到的路径去重，得到所有URL的集合；

根据URL中请求文件的后缀筛选出具有静态特征的URL的集合，作为静态URL字典。

进一步地，通过TF-IDF算法、N-Gram算法或VSM算法对已知的伪静态URL字典和前述静态URL字典中的URL进行向量化。

进一步地，所述分类算法选自SVM分类算法、决策树算法、贝叶斯算法及人工神经网络算法。

进一步地，对已知的伪静态URL字典和前述静态URL字典中的URL进行向量化时，对具有伪静态特征的URL进行加权处理，对没有伪静态特征的URL进行降权处理，然后将URL转换成权重矩阵。

进一步地，以存在参数名字样的路径或纯数字的路径的URL作为具有伪静态特征的URL。

进一步地，利用所述权重矩阵作为训练集进行分类算法训练。

进一步地，进行识别分类后，得到的伪静态URL作为检测目标进行测试。

一种基于机器学习的伪静态URL识别系统，包括：

训练集构造模块，用以收集具有静态特征的URL，生成静态URL字典；对已知的伪静态URL字典和现有的静态URL字典中的URL进行向量化；

分类训练器，用以对得到的向量化后的URL进行训练及将需要识别的目标URL输入训练好的分类算法进行识别分类，判断其是否为伪静态URL。

一种Web漏洞扫描系统，包括上述基于机器学习的伪静态URL识别系统。

进一步地，还包括目标获取模块，用以获取需要识别的URL。

通过采取上述技术方案，本发明利用机器学习的特点，可以较准确地识别伪静态URL，提升各类基于URL参数进行扫描的安全产品的扫描效果。

本发明的方法及系统适用于信息安全领域，对已授权项目进行漏洞扫描时应用本发明可以提升扫描结果质量。采用本发明的方法对若干伪静态网站进行了扫描测试，测试结果发现，当使用传统的Web漏洞扫描器进行扫描时，不能对伪静态URL中某参数存在的SQL注入漏洞进行发现，而使用基于本发明自研的扫描器进行扫描时，可以成功发现伪静态URL中的注入点。

附图说明

图1为本发明一实施例中基于机器学习的伪静态URL识别方法的流程图。

图2为本发明一实施例中静态特征的URL字典和伪静态URL字典中的URL进行向量化获得权重矩阵示意图。

图3为本发明一实施例中通过SVM算法进行训练的示意图。