[发明专利]内存参数的确定方法、装置及设备

说明书

本发明实施例公开了一种内存参数的确定方法、装置及设备。该方法包括：建立ES内存中索引文件占用的内存空间与ES内存中堆内存的内存参数之间的目标映射关系，内存参数表示为堆内存分配的内存空间；统计ES内存中当前索引文件占用的内存空间；基于当前索引文件占用的内存空间和映射关系确定ES内存中堆内存的内存参数。本发明实施例能够确定合理的ES内存参数，避免ES频繁出现卡顿现象，以及ES内存利用率低的问题。

技术领域

本发明涉及通信技术领域，尤其涉及一种内存参数的确定方法、装置及设备。

背景技术

当前，构建在分布式系统基础架构Hadoop大数据平台上的HBase(一种分布式的、面向列的开源数据库)数据库得到了广泛的应用，它通过采用在搜索引擎中构建二级索引的方式来更好地满足真实业务场景下的复杂查询需求，该搜索引擎即为ES(ElasticSearch，开源搜索服务器)。HBase数据库以检索条件字段和行健(Row Key)在搜索引擎中构造索引，用户在检索时先基于搜索引擎ES检索到满足条件的记录的Row Key，再基于RowKey检索HBase获取对应记录的全部数据。

在ES使用过程中，内存设置的堆内存参数Heap Size对数据处理有很大影响。堆内存通常为ES内存中最大的一块内存区域，也是被各个线程共享的内存区域，包括新生代内存、老年代内存和永久代内存。

传统的ES内存设置，对于Heap Size通常是基于经验设置固定值。但是，Heap Size设置得过低会导致ES数据加载效率低，在数据不断增加的情况下，ES的内存会逐渐消耗殆尽，降低甚至阻塞了ES索引数据的加载，使ES频繁出现卡顿现象；如果Heap Size设置得过高则会导致ES内存利用率低，降低ES运行效率等问题。

发明内容

本发明实施例提供了一种内存参数的确定方法、装置及设备，能够确定合理的ES内存参数，避免ES频繁出现卡顿现象，以及ES内存利用率低的问题。

第一方面，本发明实施例提供了一种内存参数的确定方法，包括：

建立开源搜索服务器ES内存中索引文件占用的内存空间与所述ES内存中堆内存的内存参数之间的目标映射关系，所述内存参数表示为所述堆内存分配的内存空间；

统计ES内存中当前索引文件占用的内存空间；

基于所述当前索引文件占用的内存空间和所述映射关系确定所述ES内存中堆内存的内存参数。

第二方面，本发明实施例提供了一种内存参数的确定装置，包括：

建立单元，用于建立开源搜索服务器ES内存中索引文件占用的内存空间与所述ES内存中堆内存的内存参数之间的目标映射关系，所述内存参数表示为所述堆内存分配的内存空间；

统计单元，用于统计ES内存中当前索引文件占用的内存空间；

确定单元，用于基于所述当前索引文件占用的内存空间和所述映射关系确定所述ES内存中堆内存的内存参数。

第三方面，本发明实施例提供了一种内存参数的确定设备，包括：

存储器、处理器、通信接口和总线；

存储器、处理器和通信接口通过总线连接并完成相互间的通信；

存储器用于存储程序代码；

处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行一种内存参数的确定方法，所述内存参数的确定方法包括：

建立开源搜索服务器ES内存中索引文件占用的内存空间与所述ES内存中堆内存的内存参数之间的目标映射关系，所述内存参数表示为所述堆内存分配的内存空间；

统计ES内存中当前索引文件占用的内存空间；