[发明专利]网页类型识别方法及装置

摘要

本发明公开了一种网页类型识别方法及装置，该方法包括在多个已知网页类型的样本网页中分别统计是否包含多个目的页面特征，得到统计结果；利用决策树算法对多个样本网页的已知网页类型和统计结果进行分析，得到目的页面特征的优先级排序，以及目的页面特征与网页类型之间的对应关系；按照所述优先级排序在待识别网页中依次查找所述目的页面特征，根据查找结果和所述对应关系确定待识别网页的网页类型。与现有技术相比，该方法可以利用样本网页对多个目的页面特征的有效性进行排序，在识别待识别网页时，按照排序先查找有效性较高的目的页面特征，然后查找有效性较低的目的页面特征，缩短了识别耗费的时间，提高了识别效率。

主权项

一种网页类型识别方法，其特征在于，包括：在多个已知网页类型的样本网页中分别统计是否包含多个目的页面特征，得到统计结果，包括：逐一判断所述样本网页是否包含目的页面特征；当所述样本网页包含所述目的页面特征时，记录为第一特征；当所述样本网页不包含所述目的页面特征时，记录为与第一特征不同的第二特征；构建包含所有样本网页对应第一特征、第二特征的表格，将所述表格作为统计结果；利用决策树算法对多个样本网页的已知网页类型和统计结果进行分析，其中：根据所述表格计算多个所述目的页面特征的信息增益，将多个所述目的页面特征按照信息增益由大到小进行排序，得到目的页面特征的优先级排序，根据多个样本网页的已知网页类型和所述目的页面特征的优先级排序生成目的页面特征与网页类型的对应关系，其中计算每个所述目的页面特征的信息增益的步骤包括：根据所述表格计算目的页面特征的相对应第一特征的比值和第二特征的比值；其中，所述第一特征的比值为第一特征对应样本网页类型一致的概率，所述第二特征的比值为第二特征对应样本网页类型一致的概率；分别计算第一特征和第二特征的信息熵；根据所述第一特征和第二特征的信息熵计算目的页面特征的条件熵，其中：所述第一特征的信息熵乘以该第一特征的数量占样本网页的总数量的比值得到第一特征的条件熵，用所述第二特征的信息熵乘以该第二特征的数量占样本网页的总数量的比值得到第二特征的条件熵，将所述第一特征的条件熵和所述第二特征的条件熵相加之和作为所述目的页面特征的条件熵；根据所述表格采用与第一特征和第二特征的信息熵的计算方法不同的方法来计算目的页面特征的信息熵，其中：首先计算样本网页的网页类型的第一特征的数量占样本网页的总数量的第一比值，样本网页的网页类型的第二特征的数量占样本网页的总数量的第二比值；接着分别求以2为底所述第一比值的对数和以2为底所述第二比值的对数，将所得的两个对数值相加之和作为所述目的页面特征的信息熵；将目的页面特征的信息熵减去目的页面特征的条件熵得到目的页面特征的信息增益；按照所述优先级排序在待识别网页中依次查找所述目的页面特征，根据查找结果和所述对应关系确定待识别网页的网页类型，包括：查找待识别网页中是否存在优先级排序最大的目的页面特征，当存在所述优先级排序最大的目的页面特征时，在所述对应关系中查找与存在的目的页面特征相对应的网页类型，将查找到的网页类型作为待识别网页的网页类型；当所述待识别网页中不存在优先级排序最大的目的页面特征时，按照优先级排序由大到小在待识别网页中依次查找其它目的页面特征，直至查找到待识别网页的网页类型。