[发明专利]一种ElasticSearch分片扩展方法

说明书

本发明公开了一种ElasticSearch分片扩展方法，计算机大数据索引技术领域，本发明将一个需要分裂的数据表新建一个扩展表，将需要分裂的分片的数据根据一定规则切分为多份，将一份留在原来的分片中，其他导入到扩展表的对应分片中，解决了当一个分片数据量过大时，ES不具备自动分裂的功能的问题，提高了数据的查询与入库效率。

技术领域

本发明属于计算机大数据索引技术领域。

背景技术

当前全文检索中，Lucene最为简单便捷，Lucene是一个全文信息检索工具包，使用的是倒排文件索引结构。它不是一个完整的搜索应用程序，而是为你的应用程序提供索引和搜索功能。可以方便的嵌入到各种应用中实现针对应用的全文索引/检索功能。目前，以Lucene为基础的集群技术，主要包括Solr与Elasticsearch(以下均简称ES)，ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，支持RESTful web、java接口，能够支持实时搜索，具有稳定，可靠，快速，安装使用方便等特点。

分片是ES每一个索引数据表的基本存储单位，底层是一个Lucene存储目录，可以被分布到不同的存储节点，当一个分片数据量过大时，ES并不具备自动分裂的功能，此时会降低系统的查询与入库效率。

发明内容

本发明的目的是提供一种ElasticSearch分片扩展方法，解决了当一个分片数据量过大时，ES不具备自动分裂的功能的问题，提高了数据的查询与入库效率。

为实现上述目的，本发明采用以下技术方案：

一种ElasticSearch分片扩展方法，包括如下步骤：

步骤1：建立全文索引系统，全文索引系统包括Hadoop存储服务器集群、WEB界面服务器、数据导入服务器和数据采集终端，数据采集终端通过互联网连接数据导入服务器，WEB界面服务器和数据导入服务器均通过互联网连接Hadoop存储服务器集群；

步骤2：通过Lucene全文信息检索工具在Hadoop存储服务器集群中建立全文检索平台，并且通过Lucene全文信息检索工具在Hadoop存储服务器集群中分配出ES集群；

步骤3：数据采集终端将流数据或文本数据输入到数据导入服务器，数据倒入服务器将流数据或文本数据发送给Hadoop存储服务器集群进行存储；

步骤4：ES集群通过Lucene全文信息检索工具为Hadoop存储服务器集群存储的数据建立倒排文件索引结构的索引数据表，ES集群为索引数据表提供存储用的字段区；所述存储用的字段区中包含多个文档号存储字段区；

ES集群按以下步骤为索引数据表提供存储用的字段区：

步骤S1：设定分片是每一个索引数据表的基本存储单位，每一个索引数据表均包含若干分片，ES集群根据索引数据表的分片将索引数据表分布存储到ES集群中的不同存储介质中；

步骤S2：设定index表单为ES集群里的一张索引数据表，shard分片为index表单的一个分片；index表单中包含有多个shard分片；设定一个分片阈值；

步骤S3：ES集群对index表单建立一个扩展index表单，ES集群读取index表单中最大的shard分片，判断shard分片是否到达分片阈值：是，则执行步骤S4，否，则执行步骤S5；

ES集群对index表单建立一个扩展index表单的具体步骤如下：

步骤A：ES集群获取index表单，并遍历index表单中的每一个shard分片，并做以下判断：若shard分片超出分片阈值，则执行步骤C；若shard分片不超出分片阈值，则执行步骤B；