[发明专利]满足不同时间粒度的海量动态数据的快速查询方法

说明书

技术领域

本发明涉及电力系统数据库中数据分析与统计方法领域，具体为一种满足不同时间粒度的海量动态数据的快速查询方法。

背景技术

电力企业产生的动态数据经解析后，为了能对该数据执行统计和查询，将数据持续不断地保存到数据库中。需要对数据库中的数据按日、月、季和年进行查询和统计。由于数据持续不断地增加，长达一年的数据实际为海量数据，直接查询时响应时间较长，难以满足要求。

发明内容

本发明的目的是提供一种满足不同时间粒度的海量动态数据的快速查询方法，以解决现有技术数据库中海量数据直接查询时响应时间长的问题。

为了达到上述目的，本发明所采用的技术方案为：

满足不同时间粒度的海量动态数据的快速查询方法，其特征在于：通过程序构建数据加工模块、二次数据库、查询统计模块，所述数据加工模块按照相同的时间间隔从一次数据库中取得多批数据，以查询的最小时间粒度对不同批数据按查询指标进行计算汇总，生成整理汇总数据后写入二次数据库；二次数据库存储经数据加工模块运算处理过的数据，并为查询统计模块提供数据；查询统计模块根据不同查询时间粒度和不同的查询指标，在二次数据库中执行查询统计。

所述的满足不同时间粒度的海量动态数据的快速查询方法，其特征在于：数据加工模块按照原有一次数据库添加数据的时间间隔，取得多批数据。

所述的满足不同时间粒度的海量动态数据的快速查询方法，其特征在于：每个时间间隔内，数据加工模块首先找出原有一次数据库中递增并经过索引的最大时间，接着根据最大时间取出最新一批数据。

所述的满足不同时间粒度的海量动态数据的快速查询方法，其特征在于： 所述的数据加工模块，对一次数据库中数据的加工处理涉及到多张表数据，对每张表数据的计算和写入二次数据库都使用一个独立的线程，不影响其他功能的运行。

所述的满足不同时间粒度的海量动态数据的快速查询方法，其特征在于： 所述的数据加工模块，在涉及多张表数据的计算和输出时利用标签的形式集成到一个界面实现。

所述的满足不同时间粒度的海量动态数据的快速查询方法，其特征在于： 所述的数据加工模块，如果停止或异常中止后，可在恢复运行后继续执行，不影响程序的查询结果。

所述的满足不同时间粒度的海量动态数据的快速查询方法，其特征在于： 所述的数据加工模块，根据写入一次数据库时产生的数据模式配置文件来读取一次数据库中的数据。

本发明是将一次数据分批取出，以最小时间粒度为单位，将不同批数据按查询指标汇总，并将汇总后的数据写入二次数据库，再对二次数据库执行查询，这样由于查询数据量小，可以大大缩短了查询时间，满足查询要求，可以使电力企业产生的海量动态数据按不同时间粒度进行查询和统计。

本发明与现有的技术相比，具有如下优点：

（1）减少查询数据量，加快查询速度。采用了二次数据库技术，将原来的海量数据，按查询最小时间粒度对查询指标进行汇总，汇总后数据写入二次数据库，对部分汇总的数据查询，减少了查询数据量，提高了查询速度。

（2）采用配置文件保存表结构，增加灵活性。在生成一次数据过程中，将一次数据库的结构保存到配置文件，为后续的的数据加工模块提供了一次数据库的模式，这样即使源数据的模式发生变化也不会影响数据加工模块的正确运行。

（3）数据加工模块停止或异常中止后，可恢复运行，增加稳定性。以时间为检查点，可以帮助数据加工模块在异常中止后能正确恢复运行。

附图说明

图1为本发明原理框图。

具体实施方式

如图1所示。满足不同时间粒度的海量动态数据的快速查询方法，通过程序构建数据加工模块、二次数据库、查询统计模块，数据加工模块按照相同的时间间隔从一次数据库中取得多批数据，以查询的最小时间粒度对不同批数据按查询指标进行计算汇总，生成整理汇总数据后写入二次数据库；二次数据库存储经数据加工模块运算处理过的数据，并为查询统计模块提供数据；查询统计模块根据不同查询时间粒度和不同的查询指标，在二次数据库中执行查询统计。

数据加工模块按照原有一次数据库添加数据的时间间隔，取得多批数据。

每个时间间隔内，数据加工模块首先找出原有一次数据库中递增并经过索引的最大时间，接着根据最大时间取出最新一批数据。

数据加工模块，对一次数据库中数据的加工处理涉及到多张表数据，对每张表数据的计算和写入二次数据库都使用一个独立的线程，不影响其他功能的运行。