[发明专利]一种基于机器学习的伪静态URL识别方法及系统

权利要求书

1.一种基于机器学习的伪静态URL识别方法，其步骤包括：

收集具有静态特征的URL，生成静态URL字典；

对已知的伪静态URL字典和前述静态URL字典中的URL进行向量化；

通过分类算法对得到的向量化后的URL进行训练；

将需要识别的目标URL输入训练好的分类算法进行识别分类，判断其是否是伪静态URL。

2.如权利要求1所述的基于机器学习的伪静态URL识别方法，其特征在于，收集具有静态特征的URL，生成静态URL字典包括：

通过爬虫程序对一定规模的样本网站进行页面爬取，使用BeautifulSoup库匹配其链接，获取整站目录；

使用爬虫程序对已爬取的链接再次爬取，调整挖掘深度以完善整站目录的完整性；

对爬取到的路径去重，得到所有URL的集合；

根据URL中请求文件的后缀筛选出具有静态特征的URL的集合，作为静态URL字典。

3.如权利要求1所述的基于机器学习的伪静态URL识别方法，其特征在于，通过TF-IDF算法、N-Gram算法或VSM算法对已知的伪静态URL字典和前述静态URL字典中的URL进行向量化。

4.如权利要求1所述的基于机器学习的伪静态URL识别方法，其特征在于，所述分类算法选自SVM分类算法、决策树算法、贝叶斯算法及人工神经网络算法。

5.如权利要求1所述的基于机器学习的伪静态URL识别方法，其特征在于，对已知的伪静态URL字典和前述静态URL字典中的URL进行向量化时，对具有伪静态特征的URL进行加权处理，对没有伪静态特征的URL进行降权处理，然后将URL转换成权重矩阵。

6.如权利要求5所述的基于机器学习的伪静态URL识别方法，其特征在于，以存在参数名字样的路径或纯数字的路径的URL作为具有伪静态特征的URL。

7.如权利要求6所述的基于机器学习的伪静态URL识别方法，其特征在于，进行识别分类后，得到的伪静态URL作为检测目标进行测试。

8.一种基于机器学习的伪静态URL识别系统，其特征在于，包括：

训练集构造模块，用以收集具有静态特征的URL，生成静态URL字典；对已知的伪静态URL字典和现有的静态URL字典中的URL进行向量化；

分类训练器，用以对得到的向量化后的URL进行训练及将需要识别的目标URL输入训练好的分类算法进行识别分类，判断其是否为伪静态URL。

9.一种Web漏洞扫描系统，其特征在于，包括上述基于机器学习的伪静态URL识别系统。

10.如权利要求9所述的Web漏洞扫描系统，其特征在于，还包括目标获取模块，用以获取需要识别的URL。