[发明专利]近实时搜索服务的优化方法

说明书

本申请公开了一种近实时搜索服务的优化方法，方法包括创建SolrCloud；设置热数据集；设置冷数据集；接收待索引的新数据；待索引的新数据被冷数据集处理并存储；当待索引的新数据在热数据集中时，则在热数据集中进行检索；当待索引的新数据不在热数据集中时，则在冷数据集中进行检索；当待索引的新数据部分在热数据集中时，则在热数据集和冷数据集中分别进行检索。本发明使用冷、热数据动态调整的模式，极大的提高了搜索速度，并提高了用户的体验和系统的搜索性能。通过在单台服务器上的每个磁盘中创建至少一个Solr实例，极大的提高了数据读取的速度，降低因读取数据而对整个搜索服务造成的耗时。

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种近实时搜索服务的优化方法。

背景技术

目前比较常见的搜索技术有Solr、Elasticsearch等，其原理和技术相对比较成熟，但在特定行业或特定业务场景中，普通的架构和方案已经不能满足对其性能的要求。

普通系统或项目中的搜索服务，最早是由数据库的查询实现的，比较适合小数据集和简单业务场景，实现简单、成本较低。对于大数据集或业务稍微复杂的情况就会力不从心了，当数据量达到千万级以上，普通的查询或搜索已经耗时非常长，不能满足用户对系统的性能要求。

目前比较流行的搜索技术有Solr、Elasticsearch(基于Lucence的企业级搜索应用服务器)等，其均基于Lucence(开放源代码的全文检索引擎的工具包)内核实现，能够提供快速的搜索服务并提供丰富的搜索接口。在数据规模在千万级时，能够实现毫秒级的搜索服务。随着数据的积累，索引文件越来越大，在全量数据中搜索数据耗时也会越来长。

为减小单个服务器的压力，SolrCloud技术，实现了搜索服务的分布式搜索模式，将数据集均衡分布到多台服务器，从而减轻单台服务器的数据集大小，可实现数据的负载均衡、提高服务的数据容灾能力。但硬件资源不可能无限增加，单台服务器的数据集还是会逐渐增大。

进一步的，有一种将Solr和HBase相结合的方案，通过HBase(分布式、面向列的开源数据库)存储元数据，Solr提供二级索引服务，从而减小Solr索引数据集的大小，降低搜索时服务器的内存压力，从而提高搜索速度。但随着数据集的持续增长，Solr索引数据还是会越来越大，达到亿级数据时，耗时之长还是让人无法忍受。数据的持续增长和快速搜索的矛盾得不到有效解决。

以上多种方案，均不能解决数据持续增长与稳定搜索速度的矛盾问题。传统的思路和方案，在硬件资源一定的情况下，随着数据量的增大，必定会引起搜索性能的下降。

究其原因存在以及几个问题：

1、存在小范围检索，大范围筛选的情况。即大部分的搜索结果可能只在部分数据集中存储，在其设计的过程中未能有效分析此种情况，在全量数据集中索引，必定会耗费更多的内存等硬件资源。

2、热数据与冷数据没有动态调整。即绝大多数的搜索结果数据可能只存在于最近的新索引数据或经常被搜索的数据集等热点数据中，未能有效筛选此类热数据，在搜索其它更大量的旧索引数据或不经常被搜索的数据集等冷数据时，也是会需要更多的时间和硬件资源。

3、单服务器单服务。即常规的SolrCloud架构，在一台服务器上创建一个Solr实例，只能充分使用单块磁盘，而其它磁盘均处于闲置状态。随着大数据量的读取操作时，单块磁盘的读写性能成为搜索服务的一个瓶颈。

发明内容

本发明公开了一种近实时搜索服务的优化方法，包括步骤：

创建SolrCloud，包括步骤：

在服务器的每一块磁盘上创建至少一个Solr实例，其中，所述服务器数量至少为一个，所述Solr实例包括NRT模式的Solr实例和RAM模式的Solr实例；