[发明专利]一种跨网络环境远程部署分布式数据采集节点的方法

说明书

本发明提供一种跨网络环境远程部署分布式数据采集节点的方法，该方法用于针对数据采集系统与数据源相距很远,连接二者的网络环境复杂，网速不稳定的情况下，将采集节点前置，进行基于安全文件传送协议SFTP的文件传输方式的数据采集，针对数据采集的远程跨网络采集、海量数据传输、采集数据时效性和完整性要求高的特点，提供一种跨网络环境远程部署分布式数据采集节点的机制，通过将数据采集节点远程部署，拉近采集节点与数据源的距离，规避了网络环境因素的影响，提高了对原始数据的采集效率。同时采集节点将已经采集好的原始数据进行打包压缩后，基于安全文件传送协议SFTP把文件传输到数据采集系统中，在保证数据安全性的同时，实现了边采集边传输。

技术领域

本发明涉及一种计算机应用技术领域, 具体地说是一种跨网络环境远程部署分布式数据采集节点的方法。

背景技术

在信息行业快速发展的今天，数据采集已经被广泛应用于各个行业领域，如电信、教育、医药卫生、交通运输等等。尤其是在电信领域中，有很多业务支撑系统，例如网络性能管理系统（NPM）、设备管理系统（FM）等，都是通过数据采集来获取原始数据。

上述数据采集具有下列特点：

1）数据源分布地域广阔，与数据采集系统相距很远，从数据源到数据采集系统之间路由经过的网络环境复杂，存在网速不稳定、网络易掉线等情况，对数据传输质量产生很大影响；

2）数据源数量众多，并且每个数据源在单位时间内需要输出的原始数据量很大，直接导致采集节点采集到数据量巨大，最终汇总到数据采集系统的数据量为海量数据；

3）采集节点采集的原始数据需要及时传回到后端的数据采集系统中，以确保采集数据的时效性，并且在远程文件传输过程中，需要确保不会造成文件内容的丢失，被窃取或篡改，保证采集数据的完整性；

因此，当前迫切需要一种全新的数据采集机制，来解决远程跨网络采集、海量数据传输、数据时效性和完整性要求高等难题。

发明内容

本发明的目的是提供一种跨网络环境远程部署分布式数据采集节点的方法。

本发明的目的是按以下方式实现的，如图1所示。数据采集系统基于安全文件传送协议（SFTP）向各个前置采集节点下发采集任务（包括数据采集规则、数据采集周期等），前置采集节点根据采集任务对数据源进行数据采集，在采集数据的同时，采集节点对已完成采集的原始数据文件，先进行压缩处理，然后通过安全文件传送协议（SFTP）上传压缩文件，如果在传输过程中，出现网络异常导致传输失败，采集节点记录已传输完成文件列表，下次上传时只传输未上传的文件，数据采集系统接收到上传的压缩文件后，先进行解压处理，然后将解压后原始数据文件，存放到指定目录，后继供上层应用使用。

按照上述描述的技术方案，具体的执行步骤如图2所示，说明如下：

步骤101：数据采集系统定期将各个采集节点的采集任务，以安全文件传送协议（SFTP方式下发到各个节点上，采集任务内容包括数据采集规则、数据采集周期等。

步骤102：前置采集节点根据采集任务对数据源进行数据采集，采集过程中，根据采集规则和已采集文件列表对数据进行过滤，数据采集周期决定采集节点访问数据源的频率。

步骤103：前置采集节点根据已采集数据文件列表和已上传文件列表，来判断当前是否需要上传文件，如果有，进入到步骤104；如果没有，进入到步骤109。

步骤104：将待上传的数据文件进行压缩，然后通过安全文件传送协议（SFTP）传输方式上传到数据采集系统的指定目录下。在文件上传过程中，先作为临时文件命名方式上传，等文件完全上传成功后，在重命名为正式文件。如果本次上传过程中由于异常原因中止，则下次采集任务的执行过程中，会将未完成上传的文件，一并上传到数据采集系统中。