[发明专利]基于HTML源码特征对网页主题进行快速分类的方法

说明书

本发明公开了一种基于HTML源码特征对网页主题进行快速分类的方法，本发明通过对网页源代码的自动化解析得到包含网页布局特征的图像数据，该特征通过选定标签蕴含的内容长度和链接长度，选定标签所属的层次关系，以及选定标签之间的距离关系，能够有效地反映出网页的布局信息。然后通过深度学习模型对网页源代码生成的图像数据进行训练，获取该图像数据中包含的网页布局特征，达到利用网页布局特征对海量网页进行快速精准分类的目的。本发明有效地利用了网页源代码中蕴含的网页布局信息，并对该布局信息进行自动化提取和学习，所构造出的分类模型鲁棒性强且分类速度快。

技术领域

本发明涉及的技术领域为海量网页快速分类，尤其在无需解析文本语义的情况下，基于HTML源码特征对网页主题进行快速的多分类，为下一步网页信息的结构化和高效提取提供便利。

背景技术

随着互联网信息的爆炸性增长，如何让机器更有效地从庞大的网页数据中提取信息变得越来越重要。自动化、智能化提取网页信息的第一步，就是对网页的快速识别和分类；不同类型的网页，其信息的提取方式不一样。网页分类的现有方法研究主要利用网页的三类数据：网页文字内容，网页布局特征，网页查询日志。

利用网页文字内容对网页进行分类的方法，大多将网页内容使用一个N维的向量进行表示，通过计算网页向量之间的相似度来进行分类。网页向量在每一维上的分量代表对应特征在文本中的权值，其中主要利用的加权方法为TF-IDF。但是此类方法受噪音文字数据的影响较大，且对文本解析的时间开销也较高。

利用网页布局特征对网页进行分类的方法，大多设定规则将DOM树节点划分不同类型，然后提取出包含网页核心信息的节点用于构造目标网页的布局分类特征，方法主要提取的为核心信息节点所包含的文字、图片和链接的统计学特征。但是此类方法需要针对具体的网页进行大量特征工程，因此目前主要研究如何有效地提取网页布局的统计特征，所构造出的分类模型的鲁棒性没有得到验证。

利用网页查询日志对网页进行分类的方法，大多利用网页的查询词与网页之间的关系对网页进行分类，因为用户的查询词反映了用户的查询意图，且用户点击到的网页一般是用户想要的结果，故查询词会从不同的角度反映网页的内容。目前查询日志分类及其变种方法大多研究如何降低用户点击数据的稀疏性。但是查询日志不易获取，需要通过特殊途径，如部署路由器对用户查询日志进行跟踪，涉及到用户数据隐私问题。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于HTML源码特征对网页主题进行快速分类的方法，本发明方法对HTML源码进行图像化特征工程，并利用深度学习对图像特征进行学习，达到对海量网页进行快速精准分类的目的。

本发明的目的通过以下技术方案来实现：本发明提出一种基于HTML源码特征对网页主题进行快速分类的方法，首先通过解析网页的HTML源码进行目标信息提取，然后对提取出的信息进行数据预处理，使之成为包含网页布局特征的类图像数据，最后使用深度学习网络对该图像数据进行学习和分类。本发明的实现步骤如下：

（1）解析网页HTML源码进行目标信息提取，提取的信息包括标签标识、标签中包含的内容长度、标签中包含的链接长度、标签所属的嵌套层次关系；

（2）根据步骤（1）提取的信息生成关于目标标签的信息矩阵，并转化成包含网页布局特征的图像数据，其中矩阵的行维度代表选定标签，列维度包含该标签在源码嵌套层次关系中的层数、该标签对应的索引号、该标签写入的内容长度和链接长度；

（3）使用深度学习网络对图像数据进行学习和分类。

进一步地，所述步骤（2）在图像数据设计中，图像需要显示选定标签在原HTML代码中的排序情况、在代码的嵌套结构中的层次关系，还需要表达选定标签中写入的链接长度和内容长度，且内容长度和链接长度需要被区分显示。