[发明专利]数据索引方法及装置

说明书

技术领域

本发明属于数据存储领域，尤其涉及一种数据索引方法及装置。

背景技术

随着社会的发展，各行业、各领域的数据量都会不断地增长，特别是电信和互联网行业更是如此。服务器硬件及数据库配置等条件固定的情况下，存储数据量的增加导致占用资源过大，进而会影响数据查询效率。采用传统的查询方式，查询效率随着数据量不断增大，会不断的降低。用户查询的响应时间会越来越慢，甚至会出现由于查询访问量过多导致数据库无法使用的情况。

现有技术中，一般采用Hadoop数据库(HBase，Hadoop Database)对数据进行存储。HBase是一个分布式的、面向列的开源数据库。现有的查询方式是通过索引条件对单个行主键(Rowkey)访问，然后按照该Rowkey所在的域(Region)，将查询数据的请求路由到该Region，以获取查询数据。使用HBase的现有的查询方式，获取100万条记录需要1000秒时间。如果全部数据均匀分布在100个Region上，那么利用并行计算特性，该100个Region同时向客户端输出数据，那么需要10秒就能将所有数据取下来，但是对于一些特殊的企业，如电信行业，每天查询的数据量在千亿条，按照这样的查询数据量，如果使用现有的HBase数据库的查询方式，及时使用并行计算特性，读取所有数据的时间也是很长的。由此可见，一旦数据量暴增，使用现有的查询方法需要很长的查询时间，从而影响查询数据的效率。

发明内容

本发明提供一种数据索引方法及装置，旨在解决由于数据量的增加，现有技术中的查询方法查询数据的时间过长，查询效率降低的问题。

本发明提供的一种数据索引方法，包括：判断数据库中是否存在重复存储的索引字段，并判断重复存储的索引字段的存储重复数是否大于预置数值；若是，则从预置起始时间开始，将预置存储时间粒度下的索引字段和所述预置存储时间粒度作为索引信息，并将所述索引信息和所述索引信息对应的行主键值缓存于内存中；当缓存完成后，将所述索引信息和所述索引信息对应的行主键值，按照预置数据存储格式生成一条批索引记录；将所述批索引记录写入到数据库中，使得在查询时通过所述批索引记录查找到目标数据。

本发明提供的一种数据索引装置，包括：判断模块用于判断数据库中是否存在重复存储的索引字段，并判断重复存储的索引字段的存储重复数是否大于预置数值；存储控制模块用于若是，则从预置起始时间开始，将预置存储时间粒度下的索引字段和所述预置存储时间粒度作为索引信息，并将所述索引信息和所述索引信息对应的行主键值缓存于内存中；生成模块用于当缓存完成后，将所述索引信息和所述索引信息对应的行主键值，按照预置数据存储格式生成一条批索引记录；所述存储控制模块还用于将所述批索引记录写入到数据库中，使得在查询时通过所述批索引记录查找到目标数据。

本发明提供的数据索引方法及装置，判断数据库中是否存在重复存储的索引字段，并判断重复存储的索引字段的存储重复数是否大于预置数值，若是，则从预置起始时间开始，将预置存储时间粒度下的索引字段和该预置存储时间粒度作为索引信息，并将该索引信息和该索引信息对应的行主键值缓存于内存中，当缓存完成后，将该索引信息和该索引信息对应的行主键值，按照预置数据存储格式生成一条批索引记录，将该批索引记录写入到数据库中，使得在查询时通过该批索引记录查找到目标数据，这样针对存储重复度高的索引字段利用生成的批索引记录可以一次查询到大量的数据，提高了查询速度，进而提高了查询效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1是本发明第一实施例提供的数据索引方法的实现流程示意图；

图2是本发明第二实施例提供的数据索引方法的实现流程示意图；

图3是本发明第三实施例提供的数据索引装置的结构示意图；

图4是本发明第四实施例提供的数据索引装置的结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。