[发明专利]域识别加主题识别构建机器学习模型检测网页暗链的方法

权利要求书

1.一种域识别加主题识别构建机器学习模型检测网页暗链的方法，其特征在于，包括以下步骤：

步骤1，收集大量网页源码作为训练集，所述训练集中包含已被标注为包含暗链的网页和标注为正常的网页；

步骤2，提取训练集中网页源码和待预测网页源码中用于构建机器学习模型的特征数据，所述特征数据包含风险度、主题异样度、主题、风险文本向量、风险文本异常概率以及风险文本长度，

首先，将所述训练集中网页源码和待预测网页源码进行可疑域识别或敏感域识别得到每个网页源码的风险文本和风险度，进行安全域识别得到安全文本，或者，进行全域分析得到每个网页源码的风险文本、风险度和安全文本，根据所述风险文本和所述安全文本基于主题识别模型得到每个网页源码的主题异样度以及主题，

然后，将每个所述风险文本进行处理，并用Doc2vec算法对处理后的风险文本进行训练得到Doc2vec模型，将处理后的风险文本用所述Doc2vec模型处理得到风险文本向量，计算风险文本异常概率，并计算出风险文本长度；

步骤3，将训练集中所有网页源码的特征数据用机器学习算法进行模型训练得到分类判别模型；

步骤4，将待预测网页源码的特征数据导入所述分类判别模型中，得到待预测网页源码是否包含暗链。

2.根据权利要求1所述的域识别加主题识别构建机器学习模型检测网页暗链的方法，其特征在于，还包括：

步骤5，对分类判别模型识别的结果，进一步审核，并将已确认识别结果的待预测网页源码扩充到训练集，定期重新训练模型。

3.根据权利要求1所述的域识别加主题识别构建机器学习模型检测网页暗链的方法，其特征在于：

得到每个网页源码的风险度、主题异样度以及主题采用以下方法：

步骤21，分析网页源码，提取网页源码中所有可疑域，对每个可疑域进行风险度识别并获取锚文本，

首先，对每一个可疑域进行风险度识别，判断该可疑域是否为风险结构，若为风险结构，进一步判断该风险结构中的每个链接是否为风险链接，提取判断为风险链接的锚文本信息，然后，根据判断的每个可疑域是否为风险结构和风险结构中包含的风险链接计算得到该网页源码的风险度，将提取的可疑域中所有风险连接的锚文本信息作为该网页源码的风险文本；

步骤22，判断根据可疑域得到的该网页源码的风险度是否为0，如果该网页源码的风险度为0，则进行步骤23，如果网页源码的风险度不为0，则进行步骤25；

步骤23，分析网页源码，提取网页源码中所有敏感域，对每个敏感域进行风险度识别并获取锚文本，

首先，对每一个敏感域进行风险度识别，判断该敏感域是否为风险结构，若为风险结构，进一步判断该风险结构中的每个连接是否为风险链接，提取判断为风险链接的锚文本信息，然后，根据判断的每个敏感域是否为风险结构和风险结构中包含的风险链接计算得到该网页源码的风险度，将提取的敏感域中所有风险连接的锚文本信息作为该网页源码的风险文本；

步骤24，判断根据敏感域得到的该网页源码的风险度是否为0，如果风险度不等于0，则进行步骤25，如果风险度等于0，则进行步骤26；

步骤25，分析网页源码，提取网页源码中安全域，分析每个所述安全域，提取所述安全域的锚文本信息，将提取的所有的安全域的锚文本信息作为安全文本，

如果根据敏感域得到的该网页源码的风险度不等于0，则还需获取扩展敏感域文本信息，并对所述扩展敏感域文本信息进行主题识别，如果识别出主题为暗链文本常用主题，则提取该扩展敏感域文本信息补充到以敏感域识别得到的风险文本中，如果识别出主题不是暗链文本常用主题，则抛弃该扩展敏感域文本信息；

步骤26，对网页源码进行全域分析，提取风险文本和安全文本，并计算风险度；

步骤27，将上述步骤得到的安全文本和风险文本导入主题识别模型识别出主题，并计算出主题异样度。