[发明专利]网页类别知识库的建立系统及方法

说明书

技术领域

本发明涉及互联网技术领域，具体涉及一种网页类别知识库的建立系统及方法。

背景技术

在搜索技术中，基本上分为两大类。一类是以整个互联网为对象，抓取全部网页（目前在一个站点内会限制抓取深度，且一般不处理js（java script），而且只是处理部分动态页面），并对网页进行处理和分析的网页搜索，即全网搜索。另一类是只针对某类页面进行抓取和分析处理的垂直搜索，如：图片搜索、视频搜索、博客搜索、论坛搜索、新闻搜索等。对于大部分垂直搜索来说，目前都是基于种子（也称作列表页）进行处理。垂直搜索的处理可分为两个部分：其一是找种子；其二是从种子页面上发现具体产品页面，即不同类别（图片、视频、新闻等）的页面，然后对这些产品页面进行处理。

现有的全网搜索，基本上不考虑垂直搜索的需求，无法分类不同的产品，即无法区分网页类别，只能为垂直搜索辅助发掘一些有用的信息。如果既有垂直搜索，由于网页搜索，两者的分析处理方式不同。系统之间互相独立，全网搜索下载、分析处理过的页面，垂直搜索还会独立的进行下载和分析处理，无法共享资源，两者不能有机的整合使垂直搜索共享全网搜索的资源。因此，建立能够自动识别网页类别的知识库是亟待解决的问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的网页类别知识库的建立系统及方法。

依据本发明的一个方面，提供了网页类别知识库的建立系统，包括：

样本页面框架ID计算模块，适于抽取样本网页的页面框架，计算样本网页的页面框架ID；

模式累计模块，适于累计相同ID的页面框架数量达到阈值时，计算样本网页的页面框架模式；

知识库建立模块，适于建立样本网页的类别和所述页面框架模式的映射关系以生成网页类别知识库。

可选地，所述知识库建立模块进一步包括：

权重设定模块，适于按照不同样本网页的类别，为该类别的页面框架模式中的各个网页特征赋予预先设定权重；

映射表建立模块，适于建立样本网页的类别与该类别的各个网页特征及权重的关系映射表，以生成网页类别知识库。

可选地，页面框架ID计算模块进一步包括：页面框架抽取模块，适于根据样本网页源代码中的html语言标签抽取所述样本网页的页面框架。

可选地，页面框架ID计算模块进一步包括：页面框架抽取模块，适于按标点识别出样本网页的正文，去除正文以得到所述样本网页的页面框架。

可选地，所述模式累计模块进一步包括：

待定列表页识别模块，适于判断是否有位于页面内固定位置块内且稳定存在一定时间的链接，若有，则设定所述样本网页为待定列表页；

列表页框架模式确定模块，适于每隔一段时间内调度一次所述待定列表页，如果所述链接不断更新为新链接，就将所述样本网页的页面框架模式设为列表页框架模式。

根据本发明的另一方面，提供了网页类别知识库的建立方法，包括以下步骤：

抽取样本网页的页面框架，计算样本网页的页面框架ID；

累计相同ID的页面框架数量达到阈值时，计算样本网页的页面框架模式；

建立样本网页的类别和所述页面框架模式的映射关系，以生成网页类别知识库。

可选地，所述建立样本网页的类别和所述页面框架模式的映射关系以生成网页类别知识库具体包括：

按照不同样本网页的类别，为该类别的页面框架模式中的各个网页特征赋予预先设定权重；

建立样本网页的类别与该类别的各个网页特征及权重的关系映射表，以生成网页类别知识库。

可选地，抽取所述样本网页的页面框架的方式为：根据样本网页源代码中的html语言标签抽取所述样本网页的页面框架。

可选地，抽取所述样本网页的页面框架的方式为：按标点识别出样本网页的正文，去除正文以得到所述样本网页的页面框架。

可选地，列表页框架模式计算的方式为：

判断是否有位于页面内固定位置块内且稳定存在一定时间的链接，若有，则设定所述样本网页为待定列表页；

每隔一段时间内调度一次所述待定列表页，如果所述链接不断更新为新链接，就将所述样本网页的页面框架模式设为列表页框架模式。

根据本发明的网页类别知识库的建立系统及方法可以建立识别网页类别的知识库以快速识别网页类别，由此解决了全网搜索无法区分网页类别的问题，取得了快速识别网页类别的有益效果。