[发明专利]基于文章内容和标题的搜索方法和装置

说明书

本发明提供了一种基于文章内容和标题的搜索方法和装置，该方法包括：利用搜索系统采用分布式存储的方式存储文章数据，搜索系统为采用ElasticSearch实现的系统；在接收到用户终端的文章搜索请求时，在搜索系统中进行文章内容和标题的实时检索；将检索时匹配到的数据以文章为对象进行聚合，采用分页展示的方式在用户终端上对匹配到的文章进行高亮展示，以解决现有技术中不能对检索到的数据进行聚合处理的问题。

技术领域

本发明涉及大数据搜索领域，具体而言，涉及一种基于文章内容和标题的搜索方法和装置。

背景技术

随着计算机技术的进步，大数据搜索得到了快速发展。目前的大数据搜索是基于Mysql、Solr、ElasticSearch、Hermes等技术实现的。其中Solr、ElasticSearch侧重搜索与全文检索，数据规模可达百万至千万，Solr利用Zookeeper进行分布式管理，支持多种格式的数据，在传统搜索应用中使用广泛，对于处理实时搜索应用效率偏低，ElasticSearch(简称ES)支持json格式的数据，自身带有分布式协调管理功能，处理实时搜索应用时效率高于Solr。Hermes是一个基于大索引技术的海量数据实时检索分析平台，侧重数据分析，数据规模从几亿到万亿不等。

在以上方案中，Mysql全文检索效率偏低，结果匹配相关度低，且无法完成分词检索，产品使用体验感偏差；Solr处理实时应用效率偏低；Hermes侧重于数据分析，在搜索与全文检索方面效率偏低；ElasticSearch的搜索基于数据，聚合时无法以面向对象的形式将匹配到多个数据聚合为同一个数据。

发明内容

本发明的主要目的在于提供一种基于文章内容和标题的搜索方法和装置，以解决现有技术中不能对检索到的数据进行聚合处理的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种基于文章内容和标题的搜索方法，包括：利用搜索系统采用分布式存储的方式存储文章数据，其中，搜索系统为采用ElasticSearch实现的系统；在接收到用户终端的文章搜索请求时，在搜索系统中进行文章内容和标题的实时检索；将检索时匹配到的数据以文章为对象进行聚合，采用分页展示的方式在用户终端上对匹配到的文章进行高亮展示。

可选地，利用搜索系统采用分布式存储的方式存储文章数据包括：将整篇文章按照标题和段落进行拆分后以标准数据结构的方式在分布式存储系统中进行存储，其中，标准数据结构包括如下字段：所属文章的标识、所属文章的文章类型、所属文章的来源、所属文章的文章名称、内容、所属文章的URL、是否为文章标题、所属文章的发布时间、数据产生时间以及存储时间。

可选地，在接收到文章搜索请求时，在搜索系统中进行文章内容和标题的实时检索包括：按照文章搜索请求中的关键字，在搜索系统中进行文章内容和标题的实时检索，得到搜索结果，搜索结果包括单个文章或者多个文章，其中，单个文章包括以下几种情形：只匹配到标题的单个文章、只匹配到段落的单个文章、同时匹配到标题和段落的单个文章，多个文章包括以下几种情形：匹配到的都是标题的多个文章、部分文章同时匹配到标题和段落、一部分文章只匹配到标题且另一部分文章(与之前描述的一部分文章不同，且可以是除开这部分文章后剩余文章的部分或者全部)只匹配到段落。

可选地，将检索时匹配到的数据以文章为对象进行聚合包括：对于匹配到标题的数据，对所属文章的标识相同的数据进行聚合；对于只匹配到段落的数据，对所属文章的标识相同的数据进行聚合。

可选地，采用分页展示的方式在用户终端上对匹配到的文章进行高亮展示包括：采用相关性算法计算匹配到的文章与文章搜索请求中关键字之间的相关度；采用分页展示的方式，在用户终端上对匹配到的文章按照相关度从大到小进行高亮展示。

可选地，在用户终端上对匹配到的文章按照相关度从大到小进行高亮展示包括：在用户终端上按照预设的展示配置，对匹配到的文章按照相关度从大到小进行高亮展示，其中，预设的展示配置为只展示标题或同时展示标题和段落。