[发明专利]一种加权的暗网资源危险评估分类方法及系统

权利要求书

1.一种加权的暗网资源危险评估分类方法，其特征在于，包括：

爬取暗网网址，获取该网址的html文件；

按照所述html文件中的标签提取网站内容；

计算所述网站内容中每个词的TF-IDF值；

预设html文件中各标签的重要程度值；

将每个词的所述TF-IDF值与该词所属标签的重要程度值相乘作为网站的文本特征；

根据网站的文本特征构建网站空间向量；

将网站空间向量输入训练好的空间向量评估分类模型进行网站危险等级评估，输出网站危险等级。

2.根据权利要求1所述的方法，其特征在于：所述html文件中的标签包括title、link、body、head、h1、b、strong、a href＝“…”和i。

3.根据权利要求2所述的方法，其特征在于：所述预设html文件中各标签的重要程度值，包括：

根据各标签使用位置的不同，设置其标签重要程度值；

标签重要程度值从大到小依次为titleheadh1bodystrong＝bilinka href＝“…”。

4.根据权利要求1所述的方法，其特征在于：当所述词所属的标签有多个时，计算多个标签的重要程度值平均值作为该词对应标签的重要程度值。

5.根据权利要求1所述的方法，其特征在于：计算所述网站内容中每个词的TF-IDF值，其中每个词不包括应删除词，应删除词不能表示网页的危险程度，应删除词包括的、是、和、中、地、得。

6.根据权利要求1所述的方法，其特征在于：根据网站的文本特征利用word2vec模型构建网站的空间向量。

7.根据权利要求1所述的方法，其特征在于，所述将网站空间向量输入训练好的空间向量评估分类模型进行网站危险等级评估，输出网站危险等级；包括：

将待评估网站的空间向量输入训练好的空间向量评估分类模型；

所述空间向量评估分类模型评估该网站的危险程度值；

根据预设危险程度值与危险等级的对应关系，输出所述待评估网站的危险等级。

8.根据权利要求7所述的方法，其特征在于：所述危险等级包括特别危险和普通危险。

9.根据权利要求7所述的方法，其特征在于，所述空间向量评估分类模型，训练过程包括：

模型预设各危险等级对应的危险程度值范围；

爬取多个暗网的网址，获取各网址的html文件；

以网址为单位按照所述html文件中的标签提取网站内容；

对各网站内容利用word2vec模型分别构建空间向量；

将各网站的空间向量输入空间向量评估分类模型进行训练；

模型识别空间向量中出现频率在预设频率阈值以上的词汇，形成危险词汇库，作为核心危险词汇；

将所有危险词汇的重要程度值相加，作为网站的危险程度值；

根据危险程度值对应输出危险等级。

10.一种如权利要求1～9所述加权的暗网资源危险评估分类方法的系统，其特征在于，包括：信息获取模块、内容提取模块、加权模块、空间向量构建模块、评估分类模块；

所述信息获取模块，用于：

爬取暗网网址，获取该网址的html文件；

所述内容提取模块，用于：

按照所述html文件中的标签提取网站内容；

所述加权模块、用于：

计算所述网站内容中每个词的TF-IDF值；

预设html文件中各标签的重要程度值；

将每个词的所述TF-IDF值与该词所属标签的重要程度值相乘作为网站的文本特征；

所述空间向量构建模块，用于：

根据网站的文本特征构建网站空间向量；

所述评估分类模块，用于：

将网站空间向量输入训练好的空间向量评估分类模型进行网站危险等级评估，输出网站危险等级。