[发明专利]索引库的更新方法及装置

说明书

本申请实施例提供一种索引库的更新方法及装置，该方法包括：接收终端设备发送的索引库的更新文件，更新文件中包含有索引库的全量更新数据；将写入索引库设置为默认索引库并在写入索引库中写入索引库的全量更新数据；在索引库的全量更新数据成功写入该写入索引库后，将检索数据源由查询索引库切换为写入索引库；其中，写入索引库在写入索引库的全量更新数据前为空索引库，查询索引库中包含更新前的原始索引数据。通过该方式，在写入索引库更新索引库的全量更新数据时，使用原有的查询索引库提供查询服务，从而避免了在索引库更新时对于查询性能的影响。

技术领域

本发明涉及数据查询领域，尤其涉及一种索引库的更新方法及装置。

背景技术

随着互联网快速发展，数据迭代更新速度越来越快，对数据索引迭代更新速度要求越来越高。准确、高效的解决数据索引建立问题，成为当前海量数据检索系统面临的一大难题。

相关技术中，在进行全索引库文档的全量更新操作时，是通过游标遍历查询索引库中的每一条文档，再通过索引文档的标识匹配原始数据，逐条对旧索引文档进行索引更新操作，对不存在原始数据的索引文档执行删除操作。

然而，通过遍历索引文档的方式进行更新，将会产生大量的删除标记的文件，占用服务器的内存。需要进行分割(segment)操作才能能够真正删除旧索引数据。在执行segment操作时，会额外使用多一倍的内存量，可能造成服务器内存使用告警，降低索引库更新时的查询性能。

发明内容

本申请实施例提供一种索引库的更新方法及装置，以解决现有技术中在索引库更新时降低查询性能的技术问题。

第一方面，本申请实施例提供一种索引库的更新方法，所述方法包括：

接收终端设备发送的索引库的更新文件，所述更新文件中包含有所述索引库的全量更新数据；

将写入索引库设置为默认索引库并在所述写入索引库中写入所述索引库的全量更新数据；

在所述索引库的全量更新数据成功写入所述写入索引库后，将检索数据源由查询索引库切换为所述写入索引库；

其中，写入索引库在写入所述索引库的全量更新数据前为空索引库，所述查询索引库中包含更新前的原始索引数据。

一种可选的实施方式中，所述更新文件中还包括所述全量更新数据的汇总数据，所述全量更新数据和所述全量更新数据的汇总数据的用户标识和批次标识相同。

一种可选的实施方式中，在所述将写入索引库中设置为默认索引库之前，所述方法还包括：

根据新文件的发送时间和所述用户标识，校验所述更新文件的有效性和用户权限。

一种可选的实施方式中，在所述将写入索引库中设置为默认索引库之前，所述方法还包括：

开启所述写入索引库的数据写入权限并更新所述索引库的配置信息。

一种可选的实施方式中，在所述写入索引库中写入所述索引库的全量更新数据之后，所述方法还包括：

在预设的时间段后根据用户标识和批次标识对所述全量更新数据的写入进度进行检测，确定所述索引库的全量更新数据是否成功写入所述写入索引库。

一种可选的实施方式中，在所述确定所述索引库的全量更新数据是否成功写入所述写入索引库之后，所述方法还包括：

若所述索引库的全量更新数据未成功写入所述写入索引库，则将所述查询索引库恢复为所述默认索引库。

一种可选的实施方式中，所述查询索引库在所述写入索引库写入所述索引库的全量更新数据时，所述查询索引库用于提供检索服务。

第二方面，本申请实施例提供一种索引库的更新装置，所述装置包括：