[发明专利]一种双队列数据采集开发方法

摘要

本发明公开了一种双队列数据采集开发方法，通过对数据采集过程中配置采集对象属性、执行采集任务，返回采集结果这三个环节的抽象，实现了一个可扩展的采集引擎接口。通过实现统一的采集配置接口、采集任务执行接口、采集任务数据发送接口的方法可以减少对不同任务执行的繁琐开发，快速的开发采集程序，无需关心采集任务的调度情况，只需要关心具体监控对象数据的获取方法，具有跨平台、执行效率高、简单易用等显著优点。

主权项

一种双队列数据采集开发方法，其特征是：1) 提供统一的任务管理配置数据结构，通过统一的数据结构进行任务数据的管理； 2) 提供统一的HTTP请求方式的任务管理接口方法，实现任务的注册、配置、启动、停止、修改、删除；3) 实现统一的任务执行接口方法，采集程序通过实现该接口来实现具体的监控任务，返回标准格式的数据；4) 实现统一的数据格式发送接口类，按Base64统一编码规则的格式进行数据发送，发送结果对象通过实现相同接口进行处理；提高数据的传输效率和安全性；5) 实现统一的双队列工作调度类，采用双队列工作方式，一个队列作为任务队列，一个队列作为采集结果队列，一个线程池从任务队列中取任务执行采集，一个线程池从采集结果队列中取结果进行发送；通过双队列方式实现数据采集和数据发送的分离与高效执行。