[发明专利]一种基于网页抽取的搜索系统及搜索方法

说明书

技术领域

本发明涉及信息搜索领域，更具体地说，涉及一种基于网页抽取的搜索系统及搜索方法。

背景技术

随着搜索引擎技术的发展，搜索结果的准确率已成为普遍关注的问题。目前，绝大多数搜索引擎都能呈现大量的搜索结果，但往往只有相关性好、结果准确的记录才被关注。因此，具有针对性强、信息准确、更新及时等特点的专项搜索应用较广。

在整个搜索引擎中，网页的下载和分析是搜索结果的数据来源。因此，网页抽取算法是其关键技术之一，该算法的复杂度、可操作性、容错性和准确度都是影响搜索结果的数量和质量的重要因素，甚至会成为整个搜索引擎的瓶颈。

专利申请号为02111893.0、名称为《基于信息抽取的搜索引擎》的中国公开了一种利用机器学习的方法：对含有同类信息且布局基本一致的HTML页面样本集进行学习，从而得出对此类HTML页面进行信息抽取的规则；应用这些规则，结合一个特定领域的搜索引擎，对网络上的相关信息进行大量地获取，并从半自由的HTML文本中获取结构化的信息。通过训练和学习，调整规则数目和抽象程度，使其满足精度要求，然后基于学习提炼后的规则集对样本集以外的文本进行信息提取。对用搜索引擎获取的特定内容的页面，利用规则进行信息提取。

然而，上述搜索引擎由于使用了机器学习方法，由程序生成页面的抽取规则，因此这些规则容错性比较差：一方面，很多类似结构的页面无法处理；另一方面，会降低抽取的准确率。此外，由于机器学习需要大量的测试集来对算法进行训练和学习，其间不断地调整和适应规则需要花费大量的人力和时间。

发明内容

本发明要解决的技术问题在于，针对上述搜索引擎抽取准确率低、可操作性差的问题，提供一种基于网页抽取的搜索系统及搜索方法。

本发明解决上述技术问题的技术方案是，提供一种基于网页抽取的搜索系统，包括用于下载网页的网页下载单元以及用于存储搜索结果的结果存储单元，还包括：

模板存储单元，用于存储一个或多个模板，所述模板用于记录预设的网页特征；

网页抽取单元，用于将所述网页下载单元下载的网页中与所述模板匹配的内容作为搜索结果。

在本发明所述的一种基于网页抽取的搜索系统中，所述模板存储单元中的每一模板对应一组URL特征项，所述网页抽取单元进一步包括模板匹配子单元，用于通过所述网页的URL匹配模板的URL特征项，并丢弃与所有模板都不匹配的网页。

在本发明所述的一种基于网页抽取的搜索系统中，所述模板存储单元中的每一模板包括一个或多个块特征，所述块特征包括HTML标签的顺序和/或标签的嵌套，所述网页抽取单元进一步包括块匹配子单元，用于根据所述网页中的HTML标签匹配所述模板匹配子单元确定的模板中的块特征，并丢弃网页中与所述模板中所有块特征都不匹配的内容。

在本发明所述的一种基于网页抽取的搜索系统中，所述模板存储单元中的每一模板的块特征中包括一个或多个结点特征，所述结点特征包括数据类型、过滤规则和/或抽取规则，所述网页抽取单元进一步包括结点匹配子单元，用于根据网页中的数据类型和内容匹配所述块匹配子单元确定的块中的结点特征，并将与所述结点特征匹配的内容作为搜索结果。

在本发明所述的一种基于网页抽取的搜索系统中，还包括模板设置单元，用于将被选择网页的URL或者经过编辑的URL作为模板的URL特征、将网页中被选择部分内容的标签作为块特征及结点特征生成模板。

本发明还提供一种基于网页抽取的搜索方法，包括以下步骤：

(a)从互联网获取网页；

(b)将步骤(a)中获取的网页中与预设的模板匹配的内容作为搜索结果，所述模板用于记录预设的网页特征；

(c)存储步骤(b)获得的搜索结果。

在本发明所述的一种基于网页抽取的搜索方法中，每一所述模板对应一个URL特征项，所述步骤(b)进一步包括：

(b1)将所述网页的URL匹配所述模板的URL特征项，并丢弃与所有模板都不匹配的网页。

在本发明所述的一种基于网页抽取的搜索方法中，每一所述模板包括一个或多个块特征，所述块特征包括HTML标签的顺序和/或标签的嵌套，所述步骤(b)进一步包括：

(b2)根据所述网页中的HTML标签匹配所述步骤(b1)确定的模板中的块特征，并丢弃网页中与所述模板中所有块特征都不匹配的内容。