[发明专利]一种基于FREEMARKER模板的数据采集系统及采集方法

权利要求书

1.一种基于FREEMARKER模板的数据采集系统，其特征在于：该系统包括：

第一配置模块，用于将性能数据采集任务配置为多个任务队列，任务队列中包括采集性能数据所需的采集参数；

第二配置模块，用于根据每个任务队列中的采集参数配置采集模板，采集模板中包括与采集参数对应的采集配置信息、与采集配置信息对应的数据源的地址信息以及用于将采集的性能数据格式化为自定义的JAVA BEAN信息的处理子模块；

执行模块，用于根据所述数据源的地址信息以及所述采集配置信息进行性能数据的采集；

调度模块，用于调度所述处理子模块；

存储模块，用于将所述处理子模块处理完成的数据进行系统多线程处理后插入数据库。

2.根据权利要求1所述的一种基于FREEMARKER模板的数据采集系统，其特征在于：所述的采集参数包括第一数据源类型的标识、第一数据源的请求方法、第一数据源接口协议信息、全量采集周期和增量采集周期。

3.根据权利要求2所述的一种基于FREEMARKER模板的数据采集系统，其特征在于：所述采集配置信息为第二数据源类型的标识、第二数据源接口协议信息以及第二数据源的请求方法；

所述数据源的地址信息为第二接口协议信息的接口地址信息和携带参数；

所述处理子模块用于将采集的性能数据封装为自定义格式的封装数据，并将封装数据格式化为自定义的JAVA BEAN信息。

4.根据权利要求3所述的一种基于FREEMARKER模板的数据采集系统，其特征在于：所述执行模块包括：

执行子模块：用于根据所述全量采集周期和增量采集周期，通过所述第二数据源接口协议信息、第二数据源的请求方法以及第二接口协议信息的接口地址信息和携带参数进行性能数据的周期性采集。

5.根据权利要求3所述的一种基于FREEMARKER模板的数据采集系统，其特征在于：所述处理子模块包括：

前置插件，用于将采集到的性能数据中含有的特殊字符进行替换或删除；

封装模块，用于将前置插件处理后的数据封装为自定义的封装数据，并将封装数据格式化为自定义的JAVA BEAN信息；

后置插件，用于将封装数据的特殊字段进行替换或删除。

6.根据权利要求1-5任一项所述的一种基于FREEMARKER模板的数据采集系统的采集方法，其特征在于：该方法包括以下步骤：

步骤S1，第一配置模块将性能数据采集任务配置为多个任务队列，任务队列中包括采集性能数据所需的采集参数；

步骤S2，第二配置模块根据每个任务队列中的采集参数配置采集模板；

步骤S3，执行模块根据采集模板中的数据源的地址信息以及采集配置信息进行性能数据的采集；

步骤S4，调度模块调度处理子模块处理所采集的性能数据；

步骤S5，存储模块将处理子模块处理完成的数据进行系统多线程处理后插入对应的数据库。

7.根据权利要求6所述的一种基于FREEMARKER模板的数据采集系统的采集方法，其特征在于：所述步骤S2的具体步骤为：第二配置模块根据每个任务队列中的第一数据源类型的标识、第一数据源的请求方法和第一数据源接口协议信息配置采集模板中的第二数据源类型的标识、第二数据源的请求方法、第二数据源接口协议信息以及与第二数据源接口协议信息对应的数据源的地址信息和携带参数。

8.根据权利要求7所述的一种基于FREEMARKER模板的数据采集系统的采集方法，其特征在于：所述步骤S3的具体步骤为：执行子模块根据所述全量采集周期和增量采集周期，通过第二数据源接口协议信息、第二数据源的请求方法以及所述数据源的地址信息和携带参数进行性能数据的周期性采集。