[发明专利]数据采集系统及数据采集方法

权利要求书

1.一种数据采集系统，其特征在于，所述系统包括：内网服务器、采集客户端和外网服务器，所述采集客户端安装有采集程序，所述外网服务器安装有用于管理所述采集程序的服务程序，

所述服务程序，用于生成采集任务，所述采集任务包括目标数据源；

所述采集程序，用于获取并解析所述服务程序生成的所述采集任务，得到所述目标数据源，在所述内网服务器中采集所述目标数据源对应的数据，将采集的所述数据发送至所述外网服务器。

2.根据权利要求1所述的系统，其特征在于，所述采集程序包括：全量任务执行器及任务清单管理器，

所述全量任务执行器，用于当所述采集任务为全量任务时，按照所述全量任务的指示，在所述内网服务器中采集所述目标数据源对应的全量数据，将所述全量数据发送至所述外网服务器；

所述任务清单管理器，用于基于所述全量任务生成任务清单，将所述任务清单发送至所述外网服务器，以及，基于所述全量数据的发送情况确定所述任务清单的状态，基于所述状态更新所述任务清单，将更新后的所述任务清单发送至所述外网服务器。

3.根据权利要求2所述的系统，其特征在于，所述服务程序包括任务状态接收器、全量数据接收器和全量任务处理器，

所述任务状态接收器，用于基于所述任务清单生成对应的接收文件夹；

所述全量数据接收器，用于在接收到所述全量任务执行器上传的所述全量数据时，将所述全量数据存储至所述接收文件夹中；

所述全量任务处理器，用于检测所述任务清单的状态，在所述状态为发送成功时，在所述接收文件夹中读取所述全量数据，将所述全量数据与所述外网服务器对应的数据库中的原数据进行比对，得到比对结果，基于所述全量数据和所述比对结果同步所述数据库。

4.根据权利要求2所述的系统，其特征在于，所述全量任务执行器，具体用于：

将采集到的全量数据转化为预设数据格式后保存至文本文件中；

对所述文本文件进行压缩分卷处理，得到至少一个压缩文件；

将至少一个所述压缩文件发送至所述外网服务器。

5.根据权利要求4所述的系统，其特征在于，所述任务清单管理器，具体用于：

将至少一个所述压缩文件记录到所述任务清单中；

在所述全量任务执行器将至少一个所述压缩文件发送至所述外网服务器时，确定至少一个所述压缩文件的发送情况；

当至少一个所述压缩文件的发送情况均为发送成功时，在所述任务清单中记录所述任务清单的状态为发送成功；

当存在发送情况为发送失败的压缩文件时，在所述任务清单中记录所述任务清单的状态为发送失败。

6.根据权利要求2所述的系统，其特征在于，所述任务清单管理器，还用于：

每隔预设间隔时间确定所述任务清单的状态；

当所述任务清单的状态为发送成功或发送失败时，在将所述任务清单发送至所述外网服务器后删除所述任务清单。

7.根据权利要求1所述的系统，其特征在于，所述采集程序还包括：增量任务执行器，

所述增量任务执行器，用于当所述采集任务为增量任务时，按照所述增量任务的指示，在所述内网服务器中监听所述目标数据源，当所述目标数据源中存在增量数据时，采集所述增量数据，将采集到的所述增量数据按照预设协议进行封装，得到增量数据封装包，将所述增量数据封装包发送至所述外网服务器。

8.根据权利要求7所述的系统，其特征在于，所述服务程序还包括：增量数据接收器，

所述增量数据接收器，用于接收所述增量数据封装包；

按照所述预设协议解析所述增量数据封装包，得到所述增量数据；

将所述增量数据插入到所述外网服务器对应的数据库中。

9.根据权利要求1所述的系统，其特征在于，

所述采集程序，还用于向所述服务程序发送认证请求；

所述服务程序，还用于接收所述采集程序发送的所述认证请求，在所述认证请求通过后，执行向所述采集程序发送采集任务的步骤。

10.一种数据采集方法，其特征在于，应用于如权利要求1-9描述的数据采集系统中的采集程序，所述方法包括：

获取外网服务器中生成的采集任务，所述采集任务包括目标数据源；

在内网服务器中采集所述目标数据源对应的数据；

将采集的所述数据发送至所述外网服务器，以使所述外网服务器基于所述数据同步外网数据库。