[发明专利]一种判别网页类型的方法及装置

权利要求书

1.一种判别网页类型的方法，其特征在于，包括：

获取待判断网页的页面信息；

从所述页面信息中提取出标题信息；

判断所述标题信息中是否包含预设关键字，所述预设关键字为包含网页类型的关键字；

若所述标题信息中未包含所述预设关键字，基于所述标题信息得到所述待判断网页的网页类型；

其中，所述基于所述标题信息得到所述待判断网页的网页类型包括：

获取至少一个已知网页类型下的若干作为参考标准的网页的标题信息；

从所述作为参考标准的网页的标题信息中拆分出作为参考标准的词组，并统计每个所述已知网页类型下作为参考标准的词组的数量；

从所述待判断网页的标题信息中拆分出至少一个词组；

将所述每个词组分别与所述作为参考标准的词组进行匹配，并统计每个所述已知网页类型下匹配成功的所述词组的数量；

获取每个所述已知网页类型下匹配成功的词组的数量与该已知网页类型下作为参考标准的词组的数量的比值，并将所述比值与预设比值进行比较；

若所述比值大于等于所述预设比值，将所述比值所对应的已知网页类型作为所述待判断网页的网页类型。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述标题信息中包含所述预设关键字，将所述预设关键字所对应的网页类型作为所述待判断网页的网页类型。

3.根据权利要求1所述的方法，其特征在于，所述获取待判断网页的页面信息包括：

对所述待判断网页进行解析，提取出所述待判断网页对应的链接的域名；

模拟访问所述域名所对应的统一资源定位符URL，爬取所述待判断网页的页面信息。

4.根据权利要求1-3中任意一项所述的方法，其特征在于，所述方法还包括：基于所述页面信息所对应的页面结构信息得到所述待判断网页的网页类型；

所述基于所述页面信息所对应的页面结构信息得到所述待判断网页的网页类型包括：

获取至少一个已知网页类型下的若干作为参考标准的网页的页面信息；

从所述作为参考标准的网页的页面信息所对应的页面结构信息中提取出作为参考标准的标签信息，并统计每个所述已知网页类型下作为参考标准的标签信息的数量；

从所述待判断网页的页面信息所对应的页面结构信息中提取出至少一个标签信息；

将每个所述标签信息分别与所述作为参考标准的标签信息进行匹配，并统计每个所述已知网页类型下匹配成功的所述标签信息的数量；

获取每个所述已知网页类型下匹配成功的标签信息的数量与该已知网页类型下作为参考标准的标签信息的数量的比值，并将所述比值与预设比值进行比较；

若所述比值大于等于所述预设比值，将所述比值所对应的已知网页类型作为所述待判断网页的网页类型。