[发明专利]一种分布式海量数据汇聚方法

权利要求书

1.一种分布式海量数据汇聚方法,该方法包括以下步骤: 

A、用户在中心机上配置采集机连接信息；

B、设备管理员在中心机上，根据各采集机数据结构差异,配置多组汇聚规则文件；

C、用户在中心机上为采集机选择对应的汇聚规则文件；

D、中心机启动采集定时器根据连接信息自动连接采集机；

E、中心机依据采集机所配汇聚规则文件获取监控数据；

F、中心机依据各采集机所配汇聚规则文件，将所获数据进行压缩统计并将结果存储在各存储模块；

G、中心机启动分级汇聚定时器，定时对存储模块中数据分级汇聚。

2.根据权利要求1所述的一种分布式海量数据汇聚方法，其特征在于：所述中心机为本方法主导机，可以为单台中心机也为可中心机集群；所述采集机为各种网络性能采集设备的中心机；中心机与采集机可以为不同厂商、不同运营商、不同运维商，可以使用不同的数据结构；采集机与采集机可以为不同厂商、不同运营商、不同运维商，可以使用不同的数据结构。

3.根据权利要求1或2所述的方法，其特征在于：所述步骤A用户在中心机上配置采集机连接信息，连接信息包含以下内容：1）采集机设备连接信息；2）采集机数据获取方式及调用参数；获取方式包括两种：数据库直连方式和系统接口获取方式。

4.根据权利要求3所述的一种分布式海量数据汇聚方法，其特征在于：所述步骤B设备管理员在中心机上，根据各采集机数据结构差异,配置多组汇聚规则文件：汇聚规则文件主要描述：数据获取方式方法，所获数据在中心机如何解析、如何存储；根据采集机内部数据机构可以配置多个规则文件为一组规则文件。

5.根据权利要求4所述的一种分布式海量数据汇聚方法，其特征在于：所述步骤C用户在中心机上为采集机选择对应的汇聚规则文件：一台采集机可以选择同一组规则文件中的多个规则文件，同一组规则文件可以被多个相同数据结构的采集机所选，用于有效地对汇聚规则文件进行重用及便于统一修改。

6.根据权利要求5所述的一种分布式海量数据汇聚方法，其特征在于：所述步骤D中心机启动采集定时器根据连接信息自动连接采集机：中心机将自动调用采集定时器连接采集机，采集定时器将每天执行一次，具体执行时间由设备管理员进行配置。

7.根据权利要求6所述的一种分布式海量数据汇聚方法，其特征在于: 所述步骤E中心机依据采集机所配汇聚规则文件获取监控数据；和F中心机依据各采集机所配汇聚规则文件，将所获数据进行压缩统计并将结果存储在各存储模块：中心机根据该采集机所选的汇聚规则文件获取上一天的数据，直接查询所需数据或者调用采集机系统接口获得该接口返回数据；中心机对所获得数据按时间进行压缩统计，将统计后数据以统一的数据结构存储至不同的存储模块。

8.根据权利要求7中所述的一种分布式海量数据汇聚方法，其特征在于：所述按时间进行压缩统计：以小时为单位对有效数据按时间进行压缩统计，获得每小时的最大值、平均值、最小值、总值、以及最大值和最小值所在时间点。

9.根据权利要求7中所述的一种分布式海量数据汇聚方法，其特征在于: 所述步骤G中心机启动分级汇聚定时器，定时对存储模块中数据分级汇聚：分级汇聚定时器会自动对存储模块中的数据按周、月、年3个级别进行汇聚、实现查询预处理功能，在用户通过中心机查询统计各数据时，中心机会自动根据所查询的时间范围查询不同级别表。