[发明专利]基于Elasticsearch索引的数据存储方法

说明书

本发明公开了一种基于Elasticsearch索引的数据存储方法及装置，该方法包括：对获取的数据进行过滤查询预分析，获取数据中的路由值；其中，路由值为数据中的预设维度的字段；根据路由值，在索引中确定数据对应的分片组；根据数据的ID，在数据对应的分片组中确定数据对应的分片，并在数据对应的分片中存储数据；本发明通过根据路由值，在索引中确定数据对应的分片组，可以确定存储数据的分片组，利用对分片进行分组的方式分割索引，改变了数据的存储分布方式，从而可以减少数据搜索时性能的消耗和网络的开销，提高数据搜索效率。

技术领域

本发明涉及全文搜索技术领域，特别涉及一种基于Elasticsearch索引的数据存储方法及装置。

背景技术

随着现代社会科技的发展，在现今的IT系统中全文搜索已成为一个最常见的需求。其中，底层基于开源项目Lucene(全文搜索引擎)封装的Elasticsearch(搜索服务器)，具有分布式、可扩展性、实时的搜索与数据分析能力，它提供了REST API的操作接口，它能从项目一开始就赋予你的数据以搜索、分析和探索的能力，开箱即用，是目前全文搜索引擎的首选。

具体的，可以把Elasticsearch看做为一个文档型数据库，而Index(索引)定义了文档的逻辑存储和字段类型，每个Index可以包含多个Document Type(分档类型)，而Document Type是Document(文档)的集合。对于全文检索来说，索引是一个关键的过程，相当于关系数据库里面的存储过程，只有通过索引操作，才能对数据(Document)进行分析存储、创建倒排索引，从而让使用者查询到相关的Document信息。

现有技术中，Elasticsearch在建立索引时，数据会通过Hash算法平均地分配在各Shard上，使得当客户端发起带搜索请求时，并不知道该请求搜索命中的数据在哪个Shard上，致使需要将该搜索请求广播到所有节点的所有Shard上，对性能的消耗和网络的开销都比较大。因此，如何通过数据的存储分布方式的改变，减少数据搜索时性能的消耗和网络的开销，提高数据搜索效率，是现今急需解决的问题。

发明内容

本发明的目的是提供一种基于Elasticsearch索引的数据存储方法及装置，以通过改变数据的存储分布方式，减少数据搜索时性能的消耗和网络的开销，提高数据搜索效率。

为解决上述技术问题，本发明提供一种基于Elasticsearch索引的数据存储方法，包括：

对获取的数据进行过滤查询预分析，获取所述数据中的路由值；其中，所述路由值为所述数据中的预设维度的字段；

根据所述路由值，在索引中确定所述数据对应的分片组；

根据所述数据的ID，在所述数据对应的分片组中确定所述数据对应的分片，并在所述数据对应的分片中存储所述数据。

可选的，所述索引中的分片组的数量大于或等于2，所述索引中的每个分片组中的分片的数量均大于或等于2且相等。

可选的，所述根据所述路由值，在索引中确定所述数据对应的分片组，包括：

对所述路由值进行哈希计算，获取第一哈希值；

计算所述第一哈希值除以所述索引中的分片组的数量取余，获取第一余值；

将所述第一余值对应的分片组确定为所述数据对应的分片组。

可选的，所述根据所述数据的ID，在所述数据对应的分片组中确定所述数据对应的分片，包括：

对所述数据的ID进行哈希计算，获取第二哈希值；

计算所述第二哈希值除以所述数据对应的分片组中的分片的数量取余，获取第二余值；

将所述第二余值对应的分片确定为所述数据对应的分片。