[发明专利]导航页的判别方法和装置

说明书

本申请公开了一种导航页的判别方法和装置，该方法包括：统计已知类型的网页中的标签数目；其中，所述已知类型包括导航页和内容页；基于所述已知类型和所述标签数目，训练分类模型；根据所述分类模型确定待分类网页的类型。本申请实施例提供的导航页的判别方法，不仅能够直接利用网页的不同标签信息，即可自动地将导航页和内容页区分开，还能够快速地判断导航页是否有更新，同时动态地调整抓取时间，避免根据保存的网页文本对导航页和内容页进行分类，以及通过定时抓取导航页来判断导航页是否更新，所造成的内存资源被大量地占用的情况，进而提高了网页判别的效率。

技术领域

本发明一般涉及信息技术领域，具体涉及一种导航页的判别方法和装置。

背景技术

在信息爆炸的现代社会中，人们可以通过手机和电脑等终端设备方便快捷地访问网络，浏览新闻页面等，畅享网上冲浪所带来的无限乐趣。其中，互联网的网页类型可以简单地分为导航页和内容页两个大类。顾名思义，导航页用于显示内容页的标题，引导网民浏览网页，而内容页则用于显示具体的文本信息。

在涉及主题的爬虫系统中，导航页和内容页的作用是不同的。内容页可以直接用来主题建模，而导航页由于内容杂乱无章，对于构建主题毫无用处。同时，导航页的更新频率比内容页要快的多，还需要为这两种页面设定不同的抓取时间。因此，判别网页的类型是导航页还是内容页，是亟待解决的技术问题。

相关技术根据网页文本的区别，实现对导航页和内容页的分类。同时，通过定时抓取导航页，并比较相邻时间所保存的导航页文本，来判断导航页是否更新。然而，相关技术对所有网页都需要获取网页文本并保存，会导致内存资源被大量地占用；并且，定时抓取导航页会出现当导航页中信息更新慢时，比如凌晨时段，爬虫系统仍频繁地抓取网页，以及当导航页中信息更新快时，比如白天工作时段，爬虫系统却不能及时地抓取网页的现象。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种导航页的判别方法和装置，不仅能够直接利用网页的不同标签信息，即可自动地将导航页和内容页区分开，还能够快速地判断导航页是否有更新，同时动态地调整抓取时间，避免根据保存的网页文本对导航页和内容页进行分类，以及通过定时抓取导航页来判断导航页是否更新，所造成的内存资源被大量地占用的情况，进而提高了网页判别的效率。

第一方面，本申请提供一种导航页的判别方法，包括：

统计已知类型的网页中的标签数目；其中，所述已知类型包括导航页和内容页；

基于所述已知类型和所述标签数目，训练分类模型；

根据所述分类模型确定待分类网页的类型。

第二方面，本申请提供一种导航页的判别装置，包括：

统计模块，用于统计已知类型的网页中的标签数目；其中，所述已知类型包括导航页和内容页；

训练模块，用于基于所述已知类型和所述标签数目，训练分类模型；

确定模块，用于根据所述分类模型确定待分类网页的类型。

综上，本申请实施例提供的导航页的判别方法和装置，统计已知类型的网页中的标签数目，已知类型包括导航页和内容页；由于导航页用于显示内容页的标题，所以导航页中有很多URL链接，网民通过点击URL链接即可浏览网页内容，而内容页则用于显示具体的文本信息，所以内容页中都是由段落组成的文本；因此，本申请实施例能够直接利用导航页和内容页的不同标签信息，并基于已知类型和标签数目，训练得到分类模型；进而，根据分类模型确定出待分类网页的类型，即可自动地将导航页和内容页区分开，避免了根据保存的网页文本对导航页和内容页进行分类，所造成的内存资源被大量地占用的情况，提高了网页判别的效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：