[发明专利]基于HTML源码特征对网页主题进行快速分类的方法有效
| 申请号: | 202010597175.0 | 申请日: | 2020-06-28 |
| 公开(公告)号: | CN111488953B | 公开(公告)日: | 2020-10-13 |
| 发明(设计)人: | 简小云;朱雨佳;杨哲;王莉芳;陈金辉 | 申请(专利权)人: | 浙江网新恒天软件有限公司 |
| 主分类号: | G06K9/62 | 分类号: | G06K9/62;G06F16/958 |
| 代理公司: | 杭州求是专利事务所有限公司 33200 | 代理人: | 刘静 |
| 地址: | 310012 浙江省杭*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 基于 html 源码 特征 网页 主题 进行 快速 分类 方法 | ||
1.一种基于HTML源码特征对网页主题进行快速分类的方法,其特征在于,该方法包括以下步骤:
(1)解析网页HTML源码进行目标信息提取,提取的信息包括标签标识、标签中包含的内容长度、标签中包含的链接长度、标签所属的嵌套层次关系;
(2)根据步骤(1)提取的信息生成关于目标标签的信息矩阵,并转化成包含网页布局特征的图像数据,其中矩阵的行维度代表选定目标标签,列维度包含该标签在源码嵌套层次关系中的层数、该标签对应的索引号、该标签写入的内容长度和链接长度;将信息矩阵中每一行的信息用视觉像素点进行表示,包括:首先用白色像素点填充,填充长度为层次关系中的层数;然后用标签索引号对应的灰度值填充,填充长度为内容长度值+1;再按标签索引+n对应的灰度值继续填充,n为选定的目标标签数量,填充长度为链接长度;最后用白色像素点填充对齐至图像宽度;
(3)使用深度学习网络对图像数据进行学习和分类。
2.根据权利要求1所述的一种基于HTML源码特征对网页主题进行快速分类的方法,其特征在于,所述步骤(2)中矩阵的四个列表数据如下:
标签索引列表:表示HTML代码中目标标签的排列顺序,该列表中每个元素的取值范围为0到n-1,n为选定的目标标签数量;
标签中写入的内容长度列表:表示HTML代码中目标标签包含的内容长度,设定目标标签写入的内容长度最小值为0最大值为150,其中最小值0代表目标标签没有文本;
标签中写入的链接长度列表:表示HTML代码中目标标签包含的链接长度,设定目标标签写入的链接长度最小值为0最大值为150,其中最小值0代表目标标签中没有链接;
标签在HTML源代码中的嵌套层次关系列表:表示HTML代码中目标标签所属的嵌套层次关系,设定该列表中每个元素的取值范围为[0-6],其中0代表标签嵌套层次关系中的根节点,多于6层的嵌套将设为6。
3.根据权利要求1所述的一种基于HTML源码特征对网页主题进行快速分类的方法,其特征在于,所述步骤(3)中,设定网页分类问题为网页主题多分类,使用卷积神经网络对网页源代码生成的图像数据进行网页布局特征提取。
4.根据权利要求3所述的一种基于HTML源码特征对网页主题进行快速分类的方法,其特征在于,卷积神经网络的激活函数选用softmax,分类模型的损失函数选用log-likelihood。
5.根据权利要求3所述的一种基于HTML源码特征对网页主题进行快速分类的方法,其特征在于,所述步骤(3)包括:将源码映射成图片宽度相同、高度不一的数据集作为分类模型的输入;通过卷积核进行特征提取得到网页的布局特征,再进行池化处理保留主要特征同时减少参数,得到新的特征组;通过卷积操作对输入图像特征组进行降维和特征抽取,再进行池化处理进一步降低特征图像维数;最后特征图像通过全连接层得到该图像对应的类别。
6.根据权利要求5所述的一种基于HTML源码特征对网页主题进行快速分类的方法,其特征在于,在分类模型的设计中加入金字塔池化层,对任意的输入产生固定的输出,然后作为全连接层所需要的固定大小的输入;金字塔池化层对一幅图像分成指定的小块,然后对于每一块提取特征进行融合,最后提取的特征图通过全连接层得到分类结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江网新恒天软件有限公司,未经浙江网新恒天软件有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010597175.0/1.html,转载请声明来源钻瓜专利网。





