[发明专利]满足不同时间粒度的海量动态数据的快速查询方法

摘要

本发明公开了一种满足不同时间粒度的海量动态数据的快速查询方法，该方法是将一次数据库中数据分批取出，以最小时间粒度为单位，将不同批数据按查询指标汇总，并将汇总后的数据写入二次数据库，再对二次数据库执行查询，这样由于查询数据量小，可以大大缩短了查询时间，满足查询要求。

主权项

满足不同时间粒度的海量动态数据的快速查询方法，其特征在于：通过程序构建数据加工模块、二次数据库、查询统计模块，所述数据加工模块按照相同的时间间隔从一次数据库中取得多批数据，以查询的最小时间粒度对不同批数据按查询指标进行计算汇总，生成整理汇总数据后写入二次数据库；二次数据库存储经数据加工模块运算处理过的数据，并为查询统计模块提供数据；查询统计模块根据不同查询时间粒度和不同的查询指标，在二次数据库中执行查询统计；所述的数据加工模块按照原有一次数据库添加数据的时间间隔，取得多批数据；每个时间间隔内，数据加工模块首先找出原有一次数据库中递增并经过索引的最大时间，接着根据最大时间取出最新一批数据；所述的数据加工模块，对一次数据库中数据的加工处理涉及到多张表数据，对每张表数据的计算和写入二次数据库都使用一个独立的线程，不影响其他功能的运行；所述的数据加工模块，在涉及多张表数据的计算和输出时利用标签的形式集成到一个界面实现；所述的数据加工模块，如果停止或异常中止后，可在恢复运行后继续执行，不影响程序的查询结果；所述的数据加工模块，根据写入一次数据库时产生的数据模式配置文件来读取一次数据库中的数据。