[发明专利]一种双队列数据采集开发方法

说明书

技术领域

    本发明属于监控软件技术，尤其适用于开发监控软件的设计同时能异步执行采集任务和发送采集结果的数据采集引擎接口实现方法，主要是与数据提取运行引擎接口实现方法技术领域。

背景技术

    随着信息时代的到来，人们对于通信方式、通信效率的要求也越来越高。信息社会对计算机网络的依赖，使得计算机网络本身运行的可靠性变得至关重要，同时，也对网络的管理提出了更高的要求。信息技术在企业中的应用的不断深入显得越来越重要，未来甚至许多企业就是只依靠信息化建设而生存。保证信息的畅通、安全对于企业来说越来越重要。目前，出于对资源专业化、精细化管理的要求，企业部署了诸多的监控管理工具，如网络监控、系统监控、数据库监控工具、视频监控、安全监控等。一般来说，这些监控工具往往来自于不同的厂商，彼此之间缺乏信息共享的手段。而一个具体的业务是由网络、主机、应用本身所组成，管理信息无法共享，这就造成了当一个故障出现时，无法通过系统直接自动分析并定位故障点，加大了故障的分析难度，降低了解决问题的效率。同时这些软件一般是按照执行采集、执行发送的同步方式进行执行采集任务。   

发明内容

本发明通过对上述这些监控软件、数据采集过程的归纳分析，提出了一种双队列数据采集开发方法，主要关注与数据提取运行引擎。

本发明的目的是实现快速搭建监控采集平台、实现统一的数据对外接口，简化监控程序的开发过程，提出了一种能异步执行采集任务和发送采集结果的数据采集引擎监控程序设计方法。本发明将采集任务的执行分离出来，自己只用专注于监控对象处理的业务逻辑。

本发明是通过下列技术方案来实现的。

一种双队列数据采集开发方法，本发明下列技术方案来实现：

1） 提供统一的任务管理配置数据结构，通过统一的数据结构进行任务数据的管理； 

2） 提供统一的HTTP请求方式的任务管理接口方法，实现任务的启动、停止、修改、删除；

3） 实现统一的任务执行接口方法，采集程序通过实现该接口来实现具体的监控任务，返回标准格式的数据；

4） 实现统一的数据格式发送接口类，按Base64统一编码规则的格式进行数据发送，发送结果对象通过实现相同接口进行处理；提高数据的传输效率和安全性；

5） 实现统一的双队列工作调度类，采用双队列工作方式，一个队列作为任务队列，一个队列作为采集结果队列，一个线程池从任务队列中取任务执行采集，一个线程池从采集结果队列中取结果进行发送；通过双队列方式实现数据采集和数据发送的分离与高效执行。

本发明实现了统一的数据接口设置采集监控对象的必要条件，如任务管理端口、数据接收地址、端口可灵活配置。 

本发明的有益效果是，实现了快速搭建监控采集平台、实现了统一的数据对外接口，简化监控程序的开发过程，提出了一种能异步执行采集任务和发送采集结果的数据采集引擎监控程序设计方法。

附图说明

图1双队列采集方法使用示意图。

具体实施方式

下面结合附图及实例进一步阐述本发明内容。

见图1,一种双队列数据采集开发方法，本发明通过下列技术方案来实现：

1) 提供统一的任务管理配置数据结构，通过统一的数据结构进行任务数据的管理； 

2) 提供统一的HTTP请求方式的任务管理接口方法，实现任务的启动、停止、修改、删除；

3) 实现统一的任务执行接口方法，采集程序通过实现该接口来实现具体的监控任务，返回标准格式的数据；

4) 实现统一的数据格式发送接口类，按Base64统一编码规则的格式进行数据发送，发送结果对象通过实现相同接口进行处理；提高数据的传输效率和安全性；

5) 实现统一的双队列工作调度类，采用双队列工作方式，一个队列作为任务队列，一个队列作为采集结果队列，一个线程池从任务队列中取任务执行采集，一个线程池从采集结果队列中取结果进行发送；通过双队列方式实现数据采集和数据发送的分离与高效执行。

    实施例

1） 定义任务管理数据结构，编写任务管理类、采集条件属性类，相关数据接口如下(这里试例采用java编程语言实现):

任务管理类：

class AcquisitorInteractiveInfo {

       private string acquisitorURI  ;//采集对象类型唯一标示