[发明专利]数据的索引方法以及装置

权利要求书

1.一种数据的索引方法，其特征在于，包括：

索引线程实时获取增量数据，所述增量数据包括增加的数据或删除的数据；

所述索引线程根据所述增量数据包含的关键词获取对应的key，根据对应的键key获取倒排索引中所述key对应的原倒排拉链；

所述索引线程根据所述增量数据以及所述原倒排拉链中的数据生成临时倒排拉链；

所述索引线程利用所述临时倒排拉链替换所述原倒排拉链来更新所述倒排索引，为原倒排拉链的内存空间添加延迟回收标识并打上第二时间戳，所述索引线程每隔预设时间从时间队列中获取最小的第一时间戳，并将所述最小的第一时间戳与带有延迟回收标识的内存空间的第二时间戳进行比对；其中，与所述索引线程并行执行的检索线程在接收用户的检索请求后，在时间队列中生成第一时间戳，并在所述检索请求完成检索后，删除对应的第一时间戳；

如果所述带有延迟回收标识的内存空间的第二时间戳小于所述最小的第一时间戳，所述索引线程则将所述带有延迟回收标识的内存空间回收；

所述索引线程利用更新后的倒排索引提供检索服务。

2.根据权利要求1所述的方法，其特征在于，

所述根据所述增量数据以及所述原倒排拉链中的数据生成临时倒排拉链包括：

当所述增量数据为增加的数据时，复制所述原倒排拉链，并在所述复制的原倒排拉链中添加所述增加的数据，以生成临时倒排拉链；

或者，

当所述增量数据为删除的数据时，复制所述原倒排拉链，并在所述复制的原倒排拉链中删除所述删除的数据，以生成临时倒排拉链。

3.根据权利要求1所述的方法，其特征在于，还包括：

如果所述原倒排拉链的带有延迟回收标识的内存空间的第二时间戳大于或等于所述最小的第一时间戳，则不回收所述带有延迟回收标识的内存空间，使得正在使用所述原倒排拉链进行检索的所述检索线程，在所述原倒排拉链被替换后，仍然到所述原倒排拉链的带有延迟回收标识的内存空间中读取数据进行检索。

4.根据权利要求1-3任一项所述的方法，其特征在于，还包括：

周期性的将更新后的倒排索引文件发送至云存储系统更新已存储的倒排索引文件；

在内存中实时将更新后的倒排索引文件进行备份。

5.根据权利要求1-3任一项所述的方法，其特征在于，还包括：

从云存储系统中获取已存储的全量数据的文件；

根据所述全量数据生成倒排索引文件；

将所述倒排索引文件发送至所述云存储系统进行存储；

启动时从所述云存储系统获取所述倒排索引文件保存至内存中。

6.一种数据的索引装置，其特征在于，包括：

增量数据获取模块，用于实时获取增量数据，所述增量数据包括增加的数据或删除的数据；

原倒排拉链获取模块，用于根据所述增量数据对应的键key获取倒排索引中所述key对应的原倒排拉链；

临时倒排拉链生成模块，用于根据所述增量数据以及所述原倒排拉链中的数据生成临时倒排拉链；

倒排索引更新模块，用于利用所述临时倒排拉链替换所述原倒排拉链来更新所述倒排索引，利用更新后的倒排索引提供检索服务；

延迟回收模块包括：检索线程执行单元，时间队列单元，索引线程执行单元；

索引线程执行单元用于在在所述倒排索引更新模块利用所述临时倒排拉链替换所述原倒排拉链时，为所述原倒排拉链的内存空间添加延迟回收标识的同时为所述原倒排拉链的内存空间打上第二时间戳，每隔预设时间从时间队列中获取最小的第一时间戳，并将所述最小的第一时间戳与带有延迟回收标识的内存空间的第二时间戳进行比对，如果所述带有延迟回收标识的内存空间的第二时间戳小于所述最小的第一时间戳，则将所述带有延迟回收标识的内存空间回收；

检索线程执行单元用于接收用户的检索请求，查找对应的倒排拉链进行检索；

时间队列单元用于在检索线程执行单元接收用户的检索请求后，在时间队列中生成第一时间戳，并在所述检索请求完成检索后，删除对应的第一时间戳；

其中，所述索引线程执行单元与所述检索线程执行单元并行执行。