[发明专利]一种云环境中的文本索引在线更新方法

摘要

本发明涉及一种云环境中的文本索引在线更新方法，属于计算机信息检索技术领域。用户向文本检索系统添加、删除或更新文件后，索引模块创建文件所属索引片的增量数据，并将同一索引片的多组增量数据合并。集群主节点通过对子节点负载大小排序选出首批节点和次批节点，分批执行索引更新。每批节点收到更新命令后，首先停止检索服务，并将读取到的增量数据合并到自己的索引片中，然后恢复检索服务。集群主节点根据用户设定的索引服务切换条件，决定启用首批节点检索服务、次批节点开始更新的时机。最后，集群主节点恢复所有节点的检索服务，完成更新。本方法降低了索引更新对网络带宽和计算资源需求，缩短了索引更新时间。

主权项

一种云环境中的文本索引在线更新方法，其特征在于该方法包括以下步骤：(1)在用户向文本检索系统添加、删除或更新文件后，将该文件的识别信息发送至索引模块；索引模块根据文本检索系统中定义的索引切分规则，对接收的识别信息进行判断，确定该文件所属的索引片，并为该文件创建一个与该索引片相对应的增量数据；索引模块将该增量数据缓存，并对相同索引片的多次添加、删除或更新产生的增量数据合并；当用户结束添加、删除或更新操作后，索引模块将所有的索引片增量数据上传到共享文件系统中；索引模块向文本检索系统中的集群主节点发出索引片更新命令，该命令中包括：每个被更新索引片的名称、增量类型、增量的存储路径；(2)文本检索系统中的索引锁管理器为每个索引片建立一个锁申请队列；文本检索系统中的集群主节点接收上述索引片更新命令后，向文本检索系统中的索引锁管理器申请被更新索引片的锁；索引锁管理器根据被更新索引片的名称将本更新操作加入到与被更新索引片相对应的锁申请队列中，并依次将锁赋予申请队列中的更新操作；当更新操作获得被更新索引片的锁后，文本检索系统中的集群主节点根据存储的索引部署状态信息，确定集群中持有被更新索引片的所有子节点；文本检索系统中的集群主节点向持有被更新索引片的所有子节点询问当前的负载情况，并根据各子节点负载的大小进行排序，将其中一半负载较低的节点作为首批更新的节点，剩余节点作为次批更新的节点；(3)文本检索系统中的集群主节点在索引片检索服务分布状态中，将首批节点提供的基于被更新索引片的检索服务标记为中止，并向首批节点发出索引片更新命令，该更新命令中包括：被更新索引片的名称、增量类型、增量的存储路径；(4)首批节点接收到上述索引片更新命令后，停止本节点提供的基于被更新索引片的检索服务，并根据上述被更新索引片的增量的存储路径，从上述共享文件系统上读取相应的增量数据，根据增量类型，将增量数据合并到本节点持有的被更新索引片中；更新完成后，首批节点启用被更新索引片在本节点的检索服务，并将更新完成的信息发送至主节点；(5)文本检索系统中的集群主节点接收首批节点发送的更新完成信息后，根据用户设定的索引服务切换条件，当设定数量的子节点的更新操作完成后，在索引片检索服务分布状态中，将首批节点提供的基于被更新索引片的检索服务标记为中止，并将次批节点提供的基于被更新索引片的检索服务标记为启用，并向次批节点发出索引片更新命令，该更新命令中包括：被更新索引片的名称、增量类型、增量的存储路径；(6)次批节点接收到上述索引片更新命令后，停止本节点提供的基于被更新索引片的检索服务，并根据上述被更新索引片的增量的存储路径，从上述共享文件系统上读取相应的增量数据，根据增量类型，将增量数据合并到本节点持有的被更新索引片中；更新完成后，次批节点启用被更新索引片在本节点的检索服务，并将更新完成的信息发送至主节点；(7)文本检索系统中的集群主节点接收次批节点发送的更新完成信息后，在索引片检索服务分布状态中，将所有已完成更新操作的子节点提供的基于被更新索引片的检索服务标记为启用；当所有子节点都完成更新操作后，集群主节点向索引锁管理器释放锁，完成此次更新。