[发明专利]一种生成数据的全局索引的方法及装置

说明书

本发明提供了一种生成数据的全局索引的方法及装置，其中，该方法包括：集群系统的处理单元接收目标数据，并从所述目标数据中获取采集所述目标数据的设备编号；确定处理所述目标数据的处理时间；获取处理所述目标数据的序号和所述集群系统的主控单元预先分配的全局唯一编号；根据所述设备编号、所述处理时间、所述序号以及所述全局唯一编号为所述目标数据生成全局索引，可以解决相关技术中在集群大规模并发处理时，处理单元频繁访问数据库获取全局索引，给数据库造成压力过大，使得集群处理不稳定的问题，生成全局索引与数据库无关，在保证全局索引快速生成的同时，减轻数据库的压力，保证整个集群系统的稳定运行。

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种生成数据的全局索引的方法及装置。

背景技术

随着信息化建设的大规模的进行，所产生的数据量成指数级上升，大量的数据都会使用集群系统进行并发处理，而很多数据保存需要确保全局的唯一性，为后期检索提供唯一性。

目前确保数据全局唯一性的做法，一般是通过查询数据库表的方式，不断地更新表中的某一字段递增来获取全局唯一索引，处理单元向数据库获取全局索引，数据库统一为集群系统中的处理单元分配全局索引。

上述方案，在集群环境下大规模并发处理时，每一个处理单元都会频繁的访问数据库，来获取全局的索引值，这给整个数据库造成了很大的压力，在并发量大的情况下会导致生成索引值的实效性，例如上万路的实时抓拍图片。

数据库在整个集群环境中是至关重要的一个环节，而索引生成导致数据库的压力过大，会使得整个集群处理不稳定的状态，影响到其他功能业务的开展。

针对相关技术中在集群大规模并发处理时，处理单元频繁访问数据库获取全局索引，给数据库造成压力过大，使得集群处理不稳定的问题，尚未提出解决方案。

发明内容

本发明实施例提供了一种生成数据的全局索引的方法及装置，以至少解决相关技术中在集群大规模并发处理时，处理单元频繁访问数据库获取全局索引，给数据库造成压力过大，使得集群处理不稳定的问题。

根据本发明的一个实施例，提供了一种生成数据的全局索引的方法，包括：

集群系统的处理单元接收目标数据，并从所述目标数据中获取采集所述目标数据的设备编号；

所述处理单元确定处理所述目标数据的处理时间；

所述处理单元获取处理所述目标数据的序号和所述集群系统的主控单元预先分配的全局唯一编号；

所述处理单元根据所述设备编号、所述处理时间、所述序号以及所述全局唯一编号为所述目标数据生成全局索引。

可选地，所述处理单元根据所述设备编号、所述处理时间、所述序号以及所述全局唯一编号为所述目标数据生成全局索引包括：

所述处理单元根据预定规则组合所述设备编号、所述处理时间、所述序号以及所述全局唯一编号，得到所述全局索引。

可选地，在所述处理单元根据所述设备编号、所述处理时间、所述序号以及所述全局唯一编号为所述目标数据生成全局索引之后，所述方法还包括：

所述处理单元判断所述序号是否小于预设阈值；

在判断结果为是的情况下，所述处理单元将所述序号增加第一预定值；

在判断结果为否的情况下，所述处理单元复位所述序号。

可选地，在所述处理单元确定处理所述目标数据的处理时间之前，所述方法还包括：

所述处理单元判断与所述主控单元的时间是否一致；

在判断结果为否的情况下，根据所述主控单元的时间进行时间同步。