[发明专利]数据索引生成方法、装置、电子设备和可读存储介质

说明书

本发明实施例公开了一种数据索引生成方法、装置、电子设备和可读存储介质，通过获取基于LSM存储引擎存储的数据库中的多个数据文件，并行遍历并解析所述多个数据文件，生成解析数据，根据所述解析数据确定至少一个索引文件，并将各所述索引文件加载至对应的数据库，其中，所述解析数据包括所述数据文件中各数据的索引数据，所述索引文件中的索引数据是有序的，由此，可以提高数据索引建立的速度。

技术领域

本发明涉及计算机技术领域，更具体地，涉及一种数据索引生成方法、装置、电子设备和可读存储介质。

背景技术

数据库会在数据的基础上建立索引以供快速查询使用，目前数据库系统在生产环境提供服务时，往往需要在线新加索引，传统方案是先遍历所有文件中的数据，然后生成需要建立索引的数据，最后重新写入到数据库中构建索引，这种索引构建方式所需的处理时间较长且不可控，并且，遍历、写数据造成的磁盘负载也会对线上服务稳定性增加考验。

发明内容

有鉴于此，本发明实施例提供一种数据索引生成方法、装置、电子设备和可读存储介质，以提高数据索引建立的速度。

第一方面，本发明实施例提供一种数据索引生成方法，所述方法包括：

获取基于LSM存储引擎存储的数据库中的多个数据文件；

并行遍历并解析所述多个数据文件，生成解析数据，所述解析数据包括所述数据文件中各数据的索引数据；

根据所述解析数据确定至少一个索引文件，所述索引文件中的索引数据是有序的；

将各所述索引文件加载至对应的数据库。

可选的，所述数据文件和所述索引文件以物理隔离的方式存储。

可选的，并行遍历并解析多个数据文件，生成解析数据包括：

并行遍历多个所述数据文件，确定各所述数据文件中的索引列，所述索引列中至少有一列为标识信息；

对所述索引列的数据值进行编码生成所述数据文件中各数据的索引数据，以确定所述解析数据。

可选的，并行遍历并解析多个数据文件，生成解析数据包括：

通过Map算法并行解析多个所述数据文件，生成所述解析数据；

根据所述解析数据确定至少一个索引文件包括：

通过Reduce算法根据所述解析数据生成至少一个所述索引文件。

可选的，获取基于LSM存储引擎存储的数据库中的多个数据文件包括：

接收所述数据库所在设备发送的多个数据文件。

可选的，将各所述索引文件加载至对应的数据库包括：

将各所述索引文件发送至所述数据库所在的设备，以使得所述设备将各所述索引文件加载至所述数据库中。

可选的，所述数据文件的大小为第一预设值，所述索引文件的大小为第二预设值。

可选的，所述第一预设值为64M，所述第二预设值为64M。

第二方面，本发明实施例提供一种数据索引生成装置，所述装置包括：

数据文件获取单元，被配置为获取基于LSM存储引擎存储的数据库中的多个数据文件；

解析单元，被配置为并行遍历并解析所述多个数据文件，生成解析数据，所述解析数据包括所述数据文件中各数据的索引数据；

索引文件确定单元，被配置为根据所述解析数据确定至少一个索引文件，所述索引文件中的索引数据是有序的；