[发明专利]一种数据归并处理方法

摘要

本发明涉及数据处理技术，其公开了一种数据归并处理方法，从软件上对原始数据进行有效的数据归并，减少数据规模，同时避免硬件成本的增加。其技术方案的要点可概括为：在数据库中创建多级归并数据表用于存储归并后的数据，在网管系统启动时开启各级定时任务，并开始采集监测项的指标数据，当时间到达定时任务的阈值时，开启该项定时任务，对数据求取平均值，并放入下一级归并缓存对象中，如此循环，直至完成预定的数据归并，并将归并后的书籍存储至数据库的对应的归并数据表中。本发明适用于在大中型网络中，对采集到的被管理设备的指标数据的归并。

主权项

一种数据归并处理方法，其特征在于，包括以下步骤：a.在数据库中创建原始数据表及N个归并数据表，所述N个归并数据表用于分别对应存储N级按照时间粒度粗细划分的归并数据，各级时间粒度之间成整数倍关系且最细时间粒度为数据采集时间间隔的整数倍，N为正整数；b.网管系统在启动时开启与N级时间粒度一一对应的N个定时任务，并采集被管理设备的各监测项的指标数据；c.网管系统将采集到的指标数据提交给归并线程进行处理，并在内存中创建与指标数据类型个数相等的缓存队列，每一个缓存队列用于对一类指标数据进行缓存且包括一个原始数据缓存对象及N级按照时间粒度粗细划分的归并数据缓存对象；d.将采集到的指标数据缓存在内存中与该指标类型相对应的缓存队列的原始数据缓存对象中，直至第一个定时任务触发，则对原始数据缓存对象中的所有指标数据求取平均值，并将求取平均值的结果缓存至第一级归并数据缓存对象中，直至第二个定时任务触发，则对第一级归并数据缓存对象中的数据求取平均值，并将求取平均值的结果缓存至第二级归并数据缓存对象中……如此类推，直至第N个定时任务触发时，则对第(N 1)级归并数据缓存对象中的数据求取平均值，并将求取平均值的结果缓存至第N级归并数据缓存对象中；e.在满足预定条件后，将内存中的各缓存队列中的数据对应存储至数据库的原始数据表及N个归并数据表中。