[发明专利]基于匈牙利匹配算法的钓鱼网页检测方法

摘要

基于匈牙利匹配的钓鱼网页检测方法首先提取渲染后网页的文本特征签名、图像特征签名以及网页整体特征签名，比较全面地刻画了网页访问后的特征；然后通过匈牙利算法计算二分图的最佳匹配来寻找不同网页签名之间匹配的特征对，在此基础上能够更加客观地度量网页之间的相似性，从而提高钓鱼网页的检测效果。在方法中还利用曲线下面积值来确定文本特征、图像特征以及全局图像特征的内部权重；利用对数回归分析法确定了网页相似性计算中的文本相似性、图像相似性和全局图像相似性之间的相对权重。本发明提出的基于匈牙利匹配的钓鱼网页检测方法，在精度、召回率上都有了很大提高。

主权项

一种基于匈牙利匹配算法的钓鱼网页检测方法，其特征在于在钓鱼网页检测过程中通过爬虫预取一定数量的网页，在此基础上提取网站拓扑特征，以此作为钓鱼网页检测的依据，分类器采用增量学习方法，保证分类器的及时更新，具体实现步骤为：一、采用基于匈牙利算法的文本特征签名及图像签名的相似度计算方法来分别计算网页签名之间的相似性，1)文本节点相似性计算：实现对网页中的每个文本节点特征的对比功能，每个节点的特征是一个6维向量：●文字内容  计算曼哈顿距离，●前景色    计算曼哈顿距离，●背景色    计算曼哈顿距离，●字体大小  计算曼哈顿距离，●字体名字  相同为0，否则为1，●该文本节点在网页中的位置计算欧氏距离；2)图像节点相似性计算：实现对网页中的每个图片节点特征的对比功能，每个节点的特征是一个5维向量：●图片的来源属性值  计算曼哈顿距离，●图片的面积  计算欧氏距离，●颜色直方图  计算欧氏距离，●二维哈尔小波变换  计算欧氏距离，●该图片节点在网页中的位置  计算欧氏距离；3)全局图像特征相似性计算：实现对网页的全局图片特征的对比功能，特征向量是一个2维向量：●颜色直方图  计算欧氏距离，●二维哈尔小波变换  计算欧氏距离；4)网页签名相似性的计算：步骤1)利用节点间相似性计算方法计算两两节点之间的相似性；步骤2)构造二分图G＝(X，Y，E)，其中X与Y分别表示两个网页签名，E表示X中所有节点与Y中所有节点之间的边；步骤3)如果X与Y的签名长度相同，则转步骤5；步骤4)生成二分图G的扩展二分完全图G；步骤5)使用匈牙利匹配算法获得G的最佳匹配M；步骤6)根据M中的边的权重相加取平均即为X与Y的相似度；二、采用曲线下面积AUC方法来确定文本特征权重及图像特征内部权重1)计算每组参数“曲线下面积”的过程：步骤21)构造特征库及样本库：将钓鱼的网页作为比较对象特征库，与之对应的钓鱼网页正例与其它一般网页反例构成样本库；步骤22)将每个样本与特征库中的每个网页进行相似性计算，取相似度的最大值作为样本与特征库之间的相似度；步骤23)记录每个样本计算得到的相似度；步骤24)对于样本集合计算得到的每个相似度，统计计算曲线下面积AUC值，即按照区间[0，1]遍历阀值，计算得到对应的“真正例率”和“假正例率”值，得到对应的“真正例率-假反例率曲线”，该曲线下的面积即为“曲线下面积”值；2)最优参数的确定：步骤221)对于文本特征、图像特征以及全局图像特征每组参数通过以上方法得到对应的“曲线下面积”值；步骤222)选择“曲线下面积”最大的那组参数作为最优的内部参数，分别得到最优的文本特征权重、图像特征权重以及全局图像特征权重；三、采用自然对数回归分析法来确定文本特征权重、图像特征权重及整体图像特征权重1)构造数据集：步骤31)利用确定的文本特征内部权重计算样本集中每个样本与特征库之间的文本特征签名相似性；步骤32)利用确定的图像特征内部权重计算样本集中每个样本与特征库之间的图像特征签名相似性；步骤33)利用确定的全局图像特征内部权重计算样本集中每个样本与特征库之间的全局图像特征签名相似性；步骤34)将以上计算得到的相似性值按照对应的样本放在一行，在行的最后根据是否为钓鱼网页来填写对应的值。对于钓鱼网页，填写“真”；对于正常网页，填写“假”；步骤35)通过以上过程分别构造训练集和测试集；2)基于自然对数回归的训练及分类过程：步骤321)将训练数据集输入到自然对数回归分类器中；步骤322)将训练好的分类器保存下来；步骤323)利用训练好的分类器对测试集进行预测，并将预测结果记录；步骤324)根据预测结果与真实结果的对比，统计对应的精度和召回率；四、利用以上步骤确定好的内部权重、外部权重以及自然对数回归方程来检测钓鱼网页步骤41)将待保护的网页通过步骤一来提取每个网页的特征签名，这些特征签名组合在一起构成特征库；步骤42)对于待检测的网页，提取其特征签名；步骤43)对于特征库中的每个特征签名，利用网页签名相似性的计算，计算其与待检测网页的特征签名之间的相似性；步骤44)取步骤43)中相似性的最大值作为待检测网页与特征库的相似性；步骤45)如果待检测网页与特征库的相似性大于设定的阀值0.9，则认为待检测网页为钓鱼网页；否则为非钓鱼网页。