[发明专利]一种数据归并处理方法

说明书

技术领域

本发明涉及数据处理技术，特别涉及在网络管理中，对采集到的被管理设备的各类型指标数据进行归并处理的方法。

背景技术

在进行网络管理时，网管系统通常都需要对被管理设备的运行情况和一些重要性能指标进行定时的检测，并记录下这些检测数据，供网管系统分析这些被管理设备在某个时间段的运行状态。然而，对于大中型网络而言，被管理设备数量众多，并且每一类型设备可能有若干种需要被监控的性能指标项，导致针对整个网络中的被管理设备的性能检测数据规模变得非常巨大，查询数据非常耗时，甚至可能导致系统崩溃。

为解决上述问题，目前通常的做法是选择性能更好的数据库服务器，或者改善数据库服务器的硬件配置，但其在提高服务性能的同时会带来增加成本的问题。

由于这些数据被存储在数据库服务器中，这种情况下要么选择更好的数据库服务器，从硬件上提高服务性能，或者从软件上对原始数据进行有效的数据归并，将数据规模有效降低，满足数据查询的需要。

发明内容

本发明所要解决的技术问题是：提出一种数据归并处理方法，从软件上对原始数据进行有效的数据归并，减少数据规模，同时避免硬件成本的增加。

本发明解决上述技术问题所采用的方案是：一种数据归并处理方法，包括以下步骤：

a.在数据库中创建原始数据表及N个归并数据表，所述N个归并数据表用于分别对应存储N级按照时间粒度粗细划分的归并数据，各级时间粒度之间成整数倍关系且最细时间粒度为数据采集时间间隔的整数倍，N为正整数；

b.网管系统在启动时开启与N级时间粒度一一对应的N个定时任务，并采集被管理设备的各监测项的指标数据；

c.网管系统将采集到的指标数据提交给归并线程进行处理，并在内存中创建与指标数据类型个数相等的缓存队列，每一个缓存队列用于对一类指标数据进行缓存且包括一个原始数据缓存对象及N级按照时间粒度粗细划分的归并数据缓存对象；

d.将采集到的指标数据缓存在内存中与该指标类型相对应的缓存队列的原始数据缓存对象中，直至第一个定时任务触发，则对原始数据缓存对象中的所有指标数据求取平均值，并将求取平均值的结果缓存至第一级归并数据缓存对象中，直至第二个定时任务触发，则对第一级归并数据缓存对象中的数据求取平均值，并将求取平均值的结果缓存至第二级归并数据缓存对象中……如此类推，直至第N个定时任务触发时，则对第(N-1)级归并数据缓存对象中的数据求取平均值，并将求取平均值的结果缓存至第N级归并数据缓存对象中；

e.在满足预定条件后，将内存中的各缓存队列中的数据对应存储至数据库的原始数据表及N个归并数据表中。

进一步，步骤a中，在数据库中创建原始数据表及3个归并数据表，这3个归并数据表分别为2小时表、6小时表、24小时表，分别用于存储按照2小时时间粒度划分的归并数据、按照6小时时间粒度划分的归并数据、按照24小时时间粒度划分的归并数据；

步骤b中，网管系统开启与3级时间粒度一一对应的3个定时任务，这3个定时任务分别为2小时定时任务、6小时定时任务、24小时定时任务，其触发时间间隔分别为2小时、6小时、24小时；

步骤c中，每一个缓存队列用于对一类指标数据进行缓存且包括一个原始数据缓存对象及3级按照时间粒度粗细划分的归并数据缓存对象，这3级按照时间粒度粗细划分的归并数据缓存对象分别为2小时归并数据缓存对象、6小时归并数据缓存对象、24小时归并数据缓存对象；

步骤d中，将采集到的指标数据缓存在内存中与该指标类型相对应的缓存队列的原始数据缓存对象中，直至2小时定时任务触发，则对原始数据缓存对象中的所有指标数据求取平均值，并将求取平均值的结果缓存至2小时归并数据缓存对象中，直至6小时定时任务触发，则对2小时归并数据缓存对象中的数据求取平均值，并将求取平均值的结果缓存至6小时归并数据缓存对象中，直至24小时定时任务触发，则对6小时归并数据缓存对象中的数据求取平均值，并将求取平均值的结果缓存中24小时归并数据缓存对象中；

步骤e中，在满足预定条件后，将内存中的各缓存队列中的数据对应存储至数据库的原始数据表及3个归并数据表中，即将各缓存队列中的原始数据缓存对象中的数据存储至原始数据表中，将各缓存队列中的2小时归并数据缓存对象中的数据存储至2小时表中，将各缓存队列中的6小时归并数据缓存对象中的数据存储至6小时表中，将各缓存队列中的24小时归并数据缓存对象中的数据存储至24小时表中。