[发明专利]一种网站列表页面的分类方法、系统及存储介质

权利要求书

1.一种网站列表页面的分类方法，其特征在于，所述方法包括：

步骤100，获取一组网站页面集合，所述网站页面集合归属于同一网站；

步骤200，分别针对每一所述网站页面提取网页数据特征，所述网页数据特征包括网页链接地址(URL)特征、文档对象模型(DOM)的树结构特征和网页视觉特征；

步骤300，通过所述网站页面的超链接列表以及所述网站网页的链接地址(URL)与节点编号之间的匹配关系形成的哈希表，创建所述网站的全局拓扑结构；

步骤400，将所述网页数据特征以及所述网站的全局拓扑结构输入图卷积神经网络进行所述图卷积神经网络的训练，得到网站列表页面分类器；

步骤500，获取待分类的网站网页，分别根据所述步骤200和步骤300得到所述待分类的网站网页的所述网页数据特征和所述网站的全局拓扑结构，并将所述待分类的网站网页的所述网页数据特征和所述网站的全局拓扑结构输入所述步骤400得到的所述网站列表页面分类器，判断该待分类的网站网页是否为网站列表页面。

2.根据权利要求1所述的分类方法，其特征在于，所述网站的全局拓扑结构表示为邻接矩阵A，所述邻接矩阵A为稀疏矩阵；所述网页数据特征表示为特征矩阵X。

3.根据权利要求2所述的分类方法，其特征在于，所述图卷积神经网络上具有谱图卷积模块，用于半监督所述网站页面的分类，所述谱图卷积模块包括：

第一谱图卷积模块，包含第一谱图卷积层、ReLu激活函数以及Dropout机制；和

第二谱图卷积模块，包含第二谱图卷积层、ReLu激活函数以及Dropout机制；

其中，所述第一谱图卷积层上具有第一参数矩阵W⁽⁰⁾，用于将所述网站页面的特征表示映射为相应的隐层表示；所述第二谱图卷积层上具有第二参数矩阵W⁽¹⁾，用于将所述网站页面的隐层表示映射为相应的输出。

4.根据权利要求3所述的分类方法，其特征在于，所述图卷积神经网络上还包括一输出模块，连接于所述谱图卷积模块，所述输出模块为softmax层。

5.根据权利要求4所述的分类方法，其特征在于，所述图卷积神经网络的训练公式为：

其中，是归一化后的邻接矩阵。

6.根据权利要求4或5所述的分类方法，其特征在于，于所述图卷积神经网络的训练过程中，所述第一参数矩阵W⁽⁰⁾和所述第二参数矩阵W⁽¹⁾分别通过梯度下降法更新参数。

7.一种网站列表页面的分类系统，其特征在于，所述系统包括：

网页获取模块，用于获取一组网站页面集合，所述网站页面集合归属于同一网站；

特征提取模块，用于分别针对每一所述网站页面提取网页数据特征，并通过所述网站页面的超链接列表以及所述网站页面的链接地址(URL)与节点编号之间的匹配关系形成的哈希表，创建所述网站的全局拓扑结构；

网页分类模块，具有预先训练好的图卷积神经网络分类模型，所述图卷积神经网络分类模型用于根据所述网页数据特征和所述网站的全局拓扑结构判断所述网站网页是否为网站列表页面。

8.根据权利要求7所述的分类系统，其特征在于，所述网页数据特征包括网页链接地址(URL)特征、文档对象模型(DOM)的树结构特征和网页视觉特征。

9.根据权利要求8所述的分类系统，其特征在于，所述分类系统还包括：训练模块，用于对所述图卷积神经网络进行训练。