[发明专利]数据采集系统及数据采集方法

说明书

本申请提供了一种数据采集系统及数据采集方法，属于互联网技术领域。所述系统包括：内网服务器、采集客户端和外网服务器，所述采集客户端安装有采集程序，所述外网服务器安装有用于管理所述采集程序的服务程序，所述服务程序，用于生成采集任务，所述采集任务包括目标数据源；所述采集程序，用于获取并解析所述服务程序生成的所述采集任务，得到所述目标数据源，在所述内网服务器中采集所述目标数据源对应的数据，将采集的所述数据发送至所述外网服务器。即，通过在内网和外网之间设置的采集客户端采集内网服务器中的数据，并将采集的数据发送至外网服务器，以实现跨域采集数据。

技术领域

本申请涉及互联网技术领域，尤其涉及一种数据采集系统及数据采集方法。

背景技术

局域网(Local Area Network，LAN)，又称内网，指在某一区域内(一般是方圆几千米以内)由多台计算机互联成的计算机组。广域网(Wide Area Network，WAN)，又称外网、公网。是连接不同地区局域网或城域网计算机通信的远程网。通常跨接很大的物理范围，所覆盖的范围从几十公里到几千公里，它能连接多个地区、城市和国家，或横跨几个洲并能提供远距离通信，形成国际性的远程网络。

为了保护企业内部敏感数据，企业大多采用内外网隔离的方式部署企业系统。但由于企业经营的需要，还是存在需要与外网服务器进行信息交互的情况，例如将企业的某些数据同步至外网服务器。然而，当企业采用内外网隔离的方式部署企业系统时，外网服务器无法与企业的内网服务器直接通讯，导致无法进行数据采集，进而无法进行数据同步的问题。

发明内容

本申请实施例的目的在于提供一种数据采集系统及数据采集方法，以解决当企业采用内外网隔离的方式部署企业系统时，外网服务器无法与企业的内网服务器直接通讯，导致无法进行数据采集的问题。具体技术方案如下：

第一方面，提供了一种数据采集系统，所述系统包括：内网服务器、采集客户端和外网服务器，所述采集客户端安装有采集程序，所述外网服务器安装有用于管理所述采集程序的服务程序，

所述服务程序，用于生成采集任务，所述采集任务包括目标数据源；

所述采集程序，用于获取并解析所述服务程序生成的所述采集任务，得到所述目标数据源，在所述内网服务器中采集所述目标数据源对应的数据，将采集的所述数据发送至所述外网服务器。

可选地，所述采集程序包括：全量任务执行器及任务清单管理器，

所述全量任务执行器，用于当所述采集任务为全量任务时，按照所述全量任务的指示，在所述内网服务器中采集所述目标数据源对应的全量数据，将所述全量数据发送至所述外网服务器；

所述任务清单管理器，用于基于所述全量任务生成任务清单，将所述任务清单发送至所述外网服务器，以及，基于所述全量数据的发送情况确定所述任务清单的状态，基于所述状态更新所述任务清单，将更新后的所述任务清单发送至所述外网服务器。

可选地，所述服务程序包括任务状态接收器、全量数据接收器和全量任务处理器，

所述任务状态接收器，用于基于所述任务清单生成对应的接收文件夹；

所述全量数据接收器，用于在接收到所述全量任务执行器上传的所述全量数据时，将所述全量数据存储至所述接收文件夹中；

所述全量任务处理器，用于检测所述任务清单的状态，在所述状态为发送成功时，在所述接收文件夹中读取所述全量数据，将所述全量数据与所述外网服务器对应的数据库中的原数据进行比对，得到比对结果，基于所述全量数据和所述比对结果同步所述数据库。

可选地，所述全量任务执行器，具体用于：

将采集到的全量数据转化为预设数据格式后保存至文本文件中；

对所述文本文件进行压缩分卷处理，得到至少一个压缩文件；