[发明专利]网页信息的获取方法和计算机存储介质

权利要求书

1.一种网页信息的获取方法，其特征在于，包括：

获取网页中链接信息的统一资源定位符URL；

将URL中包括相同标签路径信息的URL分为一类，得到n个分类，其中n为大于等于2的自然数；

计算每个分类的URL的文本标签路径比TPR；

根据所述每个分类的URL的TPR，确定所述网页中噪音内容的TPR的取值信息；

根据所述噪音内容的取值信息，对所述网页中链接信息的URL进行识别，得到所述网页中的新闻型URL和/或目录型的URL。

2.根据权利要求1所述的方法，其特征在于，所述获取网页中链接信息的URL，包括：

获取网页的代码信息；

从所述网页的HTML代码信息中选择携带有href属性的A标签节点；

获取所述A标签节点下有可达文本节点的URL，作为所述网页中链接信息的URL。

3.根据权利要求1所述的方法，其特征在于，所述将URL中包括相同标签路径的URL分为一类，包括：

获取每个链接信息的URL所在的A标签节点在HTML页面中对应的标签路径信息；

根据所述URL对应的标签路径信息，将具有相同标签路径信息的URL作为同一类URL。

4.根据权利要求1所述的方法，其特征在于，所述计算每个分类的URL的文本标签路径比TPR，包括：

计算每个分类的URL中所有A标签节点的可达文本节点的文本长度之和；以及，计算每个分类的URL中A标签节点的标签路径的总数；

计算每个分类的URL中所有A标签节点的可达文本节点的文本长度之和与A标签节点的标签路径的总数的比值，得到每类具有相同标签路径的所有URL的TPR值。

5.根据权利要求1所述的方法，其特征在于，所述根据所述每个分类的URL的TPR，确定所述网页中噪音内容的TPR的取值信息，包括：

对n个分类的URL的TPR进行求和计算，得到TPR总和；以及，从n个分类的URL的TPR中分别选择数值最大的TPR最大值和数值最小的TPR最小值；

按照预先设置的第一计算策略，利用TPR总和以及类别的总数n，计算所述网页中噪声内容的TPR基准值；以及，根据预先设置的第二计算策略，利用所述TPR最大值和所述TPR最小值，计算所述网页中噪声内容的TPR调整值；

根据所述噪声内容的TPR基准值和所述噪声内容的TPR调整值，计算所述网页中噪音范围的TPR的取值信息。

6.根据权利要求5所述的方法，其特征在于，所述噪声内容的TPR基准值是通过执行所述TPR总和与类别的总数n的除法运算得到的。

7.根据权利要求5所述的方法，其特征在于，所述噪声内容的TPR调整值X是通过如下计算表达式方式得到的：

X＝(maxtpr-mintpr)/2*a

其中，maxtpr为TPR最大值，mintpr为最小值，a表示调整系数，a为大于0且小于1的数。

8.根据权利要求6所述的方法，其特征在于，所述调整系数a为0.2。

9.根据权利要求1所述的方法，其特征在于，所述根据所述噪音内容的取值信息，对所述网页中链接信息的URL进行识别，得到所述网页中的新闻型URL和/或目录型的URL，包括：

获取网页中每个链接信息的TPR数值；

将每个链接信息的TPR数值与所述噪音内容的取值信息进行比较，得到比较结果；

如果比较结果为TPR的数值满足预设的用于判断大于所述噪音内容的TPR最大值的判断策略，则确定所述链接信息的URL为主题型URL；如果比较结果为TPR的数值满足预设的用于判断TPR的数值小于所述噪音内容的TPR最小值的判断策略，则确定所述链接信息的URL为目录型URL。

10.一种计算机存储介质，其特征在于，包括处理器和存储器，其中所述存储器存储有计算机程序，所述处理器调用所述存储器中的计算机程序以实现如权利要求1至9任一所述的方法。