[发明专利]数据的索引方法以及装置

说明书

本发明公开了一种数据的索引方法以及装置，涉及计算机技术领域。本发明的方法包括：实时获取增量数据，增量数据包括增加的数据或删除的数据；根据增量数据对应的key获取倒排索引中该key对应的原倒排拉链；根据增量数据以及原倒排拉链中的数据生成临时倒排拉链；利用临时倒排拉链替换原倒排拉链来更新所述倒排索引，利用更新后的倒排索引提供检索服务。本发明的方法能够实时获取增量数据，并针对增量数据涉及的倒排拉链实时进行更新来替换原倒排拉链，实现倒排索引的实时更新，使得新投放的数据能够得到及时的应用，提高了数据投放的实时性。

技术领域

本发明涉及计算机技术领域，特别涉及一种数据的索引方法以及装置。

背景技术

在线广告平台中，广告投放系统接收投放数据，广告索引系统建立倒排索引，为广告检索系统提供索引。广告投放系统的实时性直接影响广告用户实时感知投放广告或实时获取改变投放策略后带来的收益反馈。

现有的广告索引系统一般采取“班车机制”进行倒排索引的更新：定期对整个广告投放数据(以下统称“全量数据”)进行更新，建立全量数据对应的倒排索引，而广告用户新投放的广告数据(以下统称“增量数据”)只能等待下次全量数据更新时建立进入倒排索引中，直接影响了用户的体验。

发明内容

本发明所要实现的一个目的是：提出一种实时更新增量数据的倒排索引的方法。

根据本发明的一个方面，提供的一种数据的索引方法，包括：实时获取增量数据，增量数据包括增加的数据或删除的数据；根据增量数据对应的键key获取倒排索引中key对应的原倒排拉链；根据增量数据以及原倒排拉链中的数据生成临时倒排拉链；利用临时倒排拉链替换原倒排拉链来更新倒排索引，利用更新后的倒排索引提供检索服务。

在一个实施例中，将增量数据更新到原倒排拉链中生成临时倒排拉链包括：当增量数据为增加的数据时，复制原倒排拉链，并在复制的原倒排拉链中添加增加的数据，以生成临时倒排拉链；或者，当增量数据为删除的数据时，复制原倒排拉链，并在复制的原倒排拉链中删除该删除的数据，以生成临时倒排拉链。

在一个实施例中，该方法还包括：在利用临时倒排拉链替换原倒排拉链时，如果原倒排拉链正在被使用，则为原倒排拉链的内存空间添加延迟回收标识，等待原倒排拉链使用完毕后，将原倒排拉链的带有延迟回收标识的内存空间回收。

在一个实施例中，为原倒排拉链的内存空间添加延迟回收标识，等待原倒排拉链使用完毕后，将原倒排拉链的带有延迟回收标识的内存空间回收包括：检索线程在接收用户的检索请求后，在时间队列中生成第一时间戳，并在检索请求完成检索后，删除对应的第一时间戳；与检索线程并行执行的索引线程在为原倒排拉链的内存空间添加延迟回收标识的同时为原倒排拉链的内存空间打上第二时间戳；索引线程每隔预设时间从时间队列中获取最小的第一时间戳，并将最小的第一时间戳与带有延迟回收标识的内存空间的第二时间戳进行比对；如果带有延迟回收标识的内存空间的第二时间戳小于最小的第一时间戳，则将带有延迟回收标识的内存空间回收。

在一个实施例中，为原倒排拉链的内存空间添加延迟回收标识，等待原倒排拉链使用完毕后，将原倒排拉链的带有延迟回收标识的内存空间回收还包括：如果原倒排拉链的带有延迟回收标识的内存空间的第二时间戳大于或等于最小的第一时间戳，则不回收带有延迟回收标识的内存空间，使得正在使用原倒排拉链进行检索的检索线程，在原倒排拉链被替换后，仍然到原倒排拉链的带有延迟回收标识的内存空间中读取数据进行检索。

在一个实施例中，该方法还包括：周期性的将更新后的倒排索引文件发送至云存储系统更新已存储的倒排索引文件；在内存中实时将更新后的倒排索引文件进行备份。

在一个实施例中，该方法还包括：从云存储系统中获取已存储的全量数据的文件；根据全量数据生成倒排索引文件；将倒排索引文件发送至云存储系统进行存储；启动时从云存储系统获取倒排索引文件保存至内存中。