[发明专利]分布式搜索方法和系统

说明书

技术领域

本发明涉及信息检索领域，更具体地，涉及一种分布式搜索方法和系统。

背景技术

近年来，随着社会性网络服务(Social Networking Services，SNS)、博客等网站的盛行，大众对此类网站信息越来越感兴趣，而同时，网站出于宣传和盈利的目的，也非常愿意将信息及时地提供出去。这样就在搜索服务提供商(例如，google、baidu等)和SNS、博客类网站之间形成了一种可信的合作关系，共同为用户提供及时的有价值的信息。

但是，由于目前的搜索技术多是利用爬虫将互联网上的信息抓取之后，在搜索平台上进行信息分类并建立关系索引，最后入数据库供使用者查询搜索，所以这种方法存在如下几个问题：

(1)在信息抓取过程中，诸如信息分类、建立索引、入库等主要工作均在搜索平台上进行，极大地影响了搜索引擎的效率；

(2)在信息抓取过程中，爬虫需要将所抓取的信息送回搜索引擎，以便引擎对信息进行分类、甄别、保留有用信息以及剔除无用信息。在这个过程中，需要进行全文搜索，同样地影响到搜索引擎的效率。

发明内容

本发明要解决的一个技术问题是提供一种分布式搜索方法，能够显著提高搜索引擎的效率。

本发明提供了一种分布式搜索方法，包括网站建立关键词到包含关键词的内容源的通用资源定位器(Universal Resource Locator，URL)的索引；将索引返回给搜索平台。

根据本发明方法的一个实施例，该方法还包括：网站定期或不定期地从搜索平台获取关键词。

根据本发明方法的另一实施例，该方法还包括：判断网站中的内容源是否有内容更新，如果有内容更新，则准备建立索引。

根据本发明方法的又一实施例，该方法还包括：搜索平台利用排序规则对返回的索引进行排序，并将排序后的结果存入数据库以供检索使用。

根据本发明方法的再一实施例，通过下述方式将索引返回给搜索平台：爬虫主动抓取的方式；或网站主动上报的方式。

本发明的分布式搜索方法，由内容源来自建索引，这样一方面将建立索引的工作移至内容源，另一方面内容源无需再返回内容源的完整信息给搜索平台，只需返回关键词同内容源的URL的索引关系，从而大大提升了搜索引擎的效率，并减少了对被搜索网站的过度干扰。

本发明要解决的另一技术问题是提供一种分布式搜索系统，能够显著提高搜索引擎的效率。

本发明提供了一种分布式搜索系统，包括索引建立装置，用于建立关键词到包含关键词的内容源的URL的索引；索引发送装置，与索引建立装置相连，用于将索引返回给搜索平台。

根据本发明系统的一个实施例，该系统还包括：关键词获取装置，与索引建立装置相连，用于定期或不定期地从搜索平台获取关键词。

根据本发明系统的另一实施例，该系统还包括：判断装置，与索引建立装置相连，用于判断内容源是否有内容更新，如果有内容更新，则准备建立索引。

根据本发明系统的又一实施例，该系统还包括：搜索平台，与索引发送装置相连，用于利用排序规则对返回的索引进行排序，并将排序后的结果存入数据库以供检索使用。

根据本发明系统的再一实施例，索引发送装置通过下述方式将索引返回给搜索平台：爬虫主动抓取的方式；或网站主动上报的方式。

本发明的分布式搜索系统，由内容源来自建索引，这样一方面将建立索引的工作移至内容源，另一方面内容源无需再返回内容源的完整信息给搜索平台，只需返回关键词同内容源的URL的索引关系，从而大大提升了搜索引擎的效率，并减少了对被搜索网站的过度干扰。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分。在附图中：

图1是本发明方法的第一实施例的流程示意图。

图2是本发明方法的第二实施例的流程示意图。

图3是本发明方法的第三实施例的流程示意图。

图4是本发明方法的第四实施例的流程示意图。

图5是本发明方法的第五实施例的流程示意图。

图6是本发明方法的第七实施例的流程示意图。

图7是本发明系统的第一实施例的结构示意图。

图8是本发明系统的第二实施例的结构示意图。

图9是本发明系统的第三实施例的结构示意图。

图10是本发明系统的第四实施例的结构示意图。

图11是本发明系统的第五实施例的结果示意图。

具体实施方式