[发明专利]一种用户群索引处理方法、装置及系统

说明书

本发明实施例公开了一种用户群索引处理方法、装置及系统，其中，所述方法包括：获取需要写入存储设备的信息标识，所述信息标识用于表征具有同一用户标签的用户集合的编号；根据所述信息标识从相应的用户集合中得到用户群数据，根据用户群数据分析得到第一时间戳对应的第一用户群索引；获取与所述第一时间戳相邻的第二时间戳对应的第二用户群索引；根据所述第一用户群索引和所述第二用户群索引，按照对应的策略分别得到增量索引和待删除索引；基于所述增量索引对所述存储设备中的用户群索引进行覆盖写操作，并基于所述待删除索引对所述存储设备中的用户群索引进行删除操作。

技术领域

本发明涉及数据索引技术，具体涉及一种用户群索引处理方法、装置及系统。

背景技术

目前，将关于用户所属用户群的索引(简称用户群索引)写入CKV(Cloud KeyValue)存储系统主要有两种实现方案。第一种方案的流程图如图1所示，下载所有用户群包到单台服务器，然后计算得到全量的用户群索引，再将全量的用户群索引写入CKV存储系统；但是，这种方案存在下述问题：(1)因为单台服务器的磁盘容量有限，随着数据管理平台(DMP，Data-Management Platform)用户群业务的增长，下载所有用户群包到单台服务器势必会出现存储瓶颈；大量用户群包所需下载的时间也会越来越长。(2)单台服务器出现单点故障时，只能换一台服务器重新计算索引。(3)每次对CKV存储系统全量写入用户群索引是一个十分耗时的操作。第二种方案是下载所有的用户群包到单台服务器，然后单台服务器通过读取CKV存储系统中现有的数据计算得到用户群的增量索引，再把增量数据写入CKV存储系统，这种对CKV存储系统写入增量索引的方案虽然减少了写操作，但额外增加的读操作的耗时是写操作的数倍，并不比第一种方案节省时间。

发明内容

有鉴于此，本发明期望提供一种用户群索引处理方法、装置及系统，至少能提升更新存储设备中用户群索引数据的效率。

本发明的技术方案是这样实现的：

本发明实施例提供了一种用户群索引处理方法，所述方法包括：

获取需要写入存储设备的信息标识，所述信息标识用于表征具有同一用户标签的用户集合的编号；

根据所述信息标识从相应的用户集合中得到用户群数据，根据用户群数据分析得到第一时间戳对应的第一用户群索引；

获取与所述第一时间戳相邻的第二时间戳对应的第二用户群索引；

根据所述第一用户群索引和所述第二用户群索引，按照对应的策略分别得到增量索引和待删除索引；

基于所述增量索引对所述存储设备中的用户群索引进行覆盖写操作，并基于所述待删除索引对所述存储设备中的用户群索引进行删除操作；

其中，第一、第二用户群索引以及所述存储设备中的用户群索引，均包括主键以及所述主键所对应的值；主键为用户账号，主键对应的值为相应用户账号所属的信息标识；

其中，所述增量索引是以差异化的用户群索引记录来确定，所述差异化的用户群索引记录基于所述第一用户群索引和第二用户群索引之间的主键差异、以及相同主键的键值差异确定，每一差异化的用户群索引记录均包括主键以及所述主键所对应的所有值。

本发明实施例还提供了一种用户群索引处理装置，所述装置包括：

第一获取单元，用于获取需要写入存储设备的信息标识，所述信息标识用于表征具有同一用户标签的用户集合的编号；

计算单元，用于根据所述信息标识从相应的用户集合中得到用户群数据，根据用户群数据分析得到第一时间戳对应的第一用户群索引；

第二获取单元，用于获取与所述第一时间戳相邻的第二时间戳对应的第二用户群索引；