[发明专利]一种分布式海量数据汇聚方法

说明书

技术领域

本发明涉及数据仓库及数据挖掘技术。

背景技术

随着信息化建设的大力发展，各大企业开始启用网络服务来管理企业信息，随着业务的发展网络服务所需的设备也日益增多；为了确保网络服务的可用就需要对所有设备进行自动监控；同时为了确保监控数据的健全性各大企业基本采用多种专项监控设备对整个网络进行全方面、实时的监控。

随着监控设备的长时间运行，获得了庞大的监控数据，就需要对数据进行汇聚提高监控数据的查看效率；同时随着多厂商多种监控设备的启用，就需要对所有监控数据的集中分析，剔除无效、重叠数据，监控数据以统计数据结构进行存储。传统方法为：1）建立一个数据中心机手动安装和创建数据库；2）手动将各监控系统的数据拷贝至数据中心机，在数据中心机上保持源数据数据结构和原始数据；3）人工编写数据库脚本将数据结构相同的数据存储在同一个存储设备当中，需要手动或半自动设置唯一标识；4）在获取综合统计信息时需要根据不同的数据结构采用不同的查询命令，将所需数据一一获取后再进行统计。所以需要一个方法来解决或优化上述问题。

发明内容

本发明的目的针对现技术下网络监控数据存在数据庞大检索困难，监控系统多元化、数据结构多元化下监控数据整合困难等问题提出一种分布式海量数据汇聚方法，以提高对监控数据的查看、分类的效率。

为了实现上述目的，本发明公开了一种分布式海量数据汇聚方法,该方法包括以下步骤:

A、用户在中心机上配置采集机连接信息；

步骤A连接信息包含以下内容：1）采集机设备连接信息；2）采集机数据获取方式及调用参数；获取方式包括两种：数据库直连方式和系统接口获取方式。

根据所选数据获取方式其对应的参数也不相同；数据库直连方式参数为：数据库网络地址、数据库端口号、数据库类型、数据库名称、数据库登陆用户名、数据库登陆密码；系统接口获取方式参数为：系统服务网络地址，系统服务端口号、系统权限用户名、系统权限密码、接口所述框架或体系。

上述数据库直连方式参数,所述特征数据库类型包含如下： Oracle、MySql、SqlServer、Sybase，DB。

上述系统接口获取方式参数,所述特征接口所述框架或体系包含如下：webservice、corba、socket、snmp、TL1。

在确保所配置采集机连接信息正确无误，中心机将进行一次测试连接，当测试通过后，中心机将存储该采集机的连接信息。

步骤A所述中心机为本方法主导机，可以为单台中心机也为可中心机集群；所述采集机为各种网络性能采集设备的中心机；中心机与采集机可以为不同厂商、不同运营商、不同运维商，可以使用不同的数据结构。采集机与采集机可以为不同厂商、不同运营商、不同运维商，可以使用不同的数据结构。

B、设备管理员在中心机上，根据各采集机数据结构差异,配置多组汇聚规则文件；

汇聚规则文件主要描述：数据获取方式方法，所获数据在中心机如何解析、如何存储。

步骤B中所述，规则文件根据数据获取方式不同主要分为两种模板：模板一为数据库直连方式的规则文件，文件主要需要定义如下内容：所需获取数据的数据结构、查询命令、所获取数据对应在中心机上的数据结构位置；模板二为系统接口获取方式的规则文件，文件主要需要定义如下内容：所需要调用的接口方法名、所需要传递的参数、返回数据的格式及解析模板、返回数据中各具体数据所对应在中心机上的数据结构位置。

根据采集机内部数据结构可以配置多个规则文件为一组规则文件。

步骤B为中心机设备管理员或运维人员进行配置。

C、用户在中心机上为采集机选择对应的汇聚规则文件；

步骤C：用户为所配置的采集机选择其所对应的汇聚规则文件。

一台采集机可以选择同一组规则文件中的多个规则文件，同一组规则文件可以被多个相同数据结构的采集机所选。这样可以有效地对汇聚规则文件进行重用及便于统一修改，提高工作效率。

D、中心机启动采集定时器根据连接信息自动连接采集机；

步骤D中，中心机将自动调用采集定时器连接采集机，采集定时器将每天执行一次，具体执行时间由设备管理员进行配置。

E、中心机依据采集机所配汇聚规则文件获取监控数据；

步骤E中心机根据该采集机所选的汇聚规则文件获取上一天的数据，直接查询所需数据或者调用采集机系统接口获得该接口返回数据。

F、中心机依据各采集机所配规则文件，将所获数据进行压缩统计并将结果存储在各存储模块；