[发明专利]导航页的判别方法和装置

权利要求书

1.一种导航页的判别方法，其特征在于，所述方法包括：

统计已知类型的网页中的标签数目；其中，所述已知类型包括导航页和内容页；

基于所述已知类型和所述标签数目，训练分类模型；

根据所述分类模型确定待分类网页的类型。

2.根据权利要求1所述的一种导航页的判别方法，其特征在于，所述基于所述已知类型和所述标签数目，训练分类模型，包括：

通过分类算法对应的拟合函数，对所述已知类型和所述标签数目进行拟合，得到所述分类模型。

3.根据权利要求2所述的一种导航页的判别方法，其特征在于，所述分类算法包括逻辑回归算法、朴素贝叶斯算法和支持向量机算法。

4.根据权利要求1所述的一种导航页的判别方法，其特征在于，所述根据所述分类模型确定待分类网页的类型，包括：

遍历所述待分类网页标签信息中的字符，并统计所述待分类网页对应的标签数目；

将所述待分类网页对应的标签数目带入所述分类模型中进行计算，得到所述待分类网页的类型。

5.根据权利要求1所述的一种导航页的判别方法，其特征在于，所述方法还包括：

计算第一时刻对应的URL集合的MD5值；

计算第二时刻对应的URL集合的MD5值；其中，所述URL集合为所述待分类网页在不同时刻下所有URL组成的集合；

当所述第一时刻对应的URL集合的MD5值和所述第二时刻对应的URL集合的MD5值不同时，重新抓取网页。

6.根据权利要求5所述的一种导航页的判别方法，其特征在于，所述方法还包括：

计算所述第一时刻和所述第二时刻的时刻间隔；

若所述时刻间隔大于或者等于抓取时间，则延长所述抓取时间；

若所述时刻间隔小于所述抓取时间，则缩短所述抓取时间。

7.一种导航页的判别装置，其特征在于，所述装置包括：

统计模块，用于统计已知类型的网页中的标签数目；其中，所述已知类型包括导航页和内容页；

训练模块，用于基于所述已知类型和所述标签数目，训练分类模型；

确定模块，用于根据所述分类模型确定待分类网页的类型。

8.根据权利要求7所述的一种导航页的判别装置，其特征在于，所述确定模块具体用于：

遍历所述待分类网页标签信息中的字符，并统计所述待分类网页对应的标签数目；

将所述待分类网页对应的标签数目带入所述分类模型中进行计算，得到所述待分类网页的类型。

9.根据权利要求7所述的一种导航页的判别装置，其特征在于，所述装置还包括抓取模块，所述抓取模块具体用于：

计算第一时刻对应的URL集合的MD5值；

计算第二时刻对应的URL集合的MD5值；其中，所述URL集合为所述待分类网页在不同时刻下所有URL组成的集合；

当所述第一时刻对应的URL集合的MD5值和所述第二时刻对应的URL集合的MD5值不同时，重新抓取网页。

10.根据权利要求9所述的一种导航页的判别装置，其特征在于，所述抓取模块还用于：

计算所述第一时刻和所述第二时刻的时刻间隔；

若所述时刻间隔大于或者等于抓取时间，则延长所述抓取时间；

若所述时刻间隔小于所述抓取时间，则缩短所述抓取时间。