[发明专利]一种数据采集系统及其数据采集的方法

说明书

技术领域

本发明涉及数据业务技术领域，特别涉及一种数据采集系统及其数据采集的方法。

背景技术

数据采集系统做为数据平台的统一数据入口，为数据平台提供数据的接收、解密、解析、存储等功能，数据采集系统使用HTTP(HyperText Transfer Protocol，超文本传输协议)协议，接收POST方法的数据。由于数据发起方的系统和接口比较多，并在未来一段时间内会逐渐增加新的数据发起方和接口，所以要求数据采集系统必须能够灵活的变更接口；同时，在某一接口进行变更时，不得影响其它接口的正常工作。

现有方案之一使用nginx软件作为HTTP服务器，编写模块实现数据的接收、解密、解析、存储等功能。由于nginx的软件设计结构要求模块在变更后，需要将整个nginx软件一起重新编译、重启服务，所以无法灵活的变更接口。并且，限制在nginx的框架之下，很难实现复杂的逻辑；nginx软件过于庞大，很多功能使用不到，浪费服务器资源。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何提供一种数据采集系统及其数据采集的方法，以便能够对接口进行灵活的变更，而不影响其他接口的正常工作。

(二)技术方案

为解决上述技术问题，本发明提高一种数据采集系统，其包括：工作单元100；

所述工作单元100包括：协议层子单元103和命令子单元104；

所述协议层子单元103包括URL模块1031；

所述URL模块1031包括接口子模块10311；

所述命令子单元104包括用于监听管理命令类型的HTTP连接请求的网络端口，所述命令子单元104用于将监听到的所述管理命令类型的HTTP连接请求发送给所述协议层子单元103；

所述协议层子单元103用于接收HTTP连接请求，并根据所述连接请求，通知所述工作单元100加载和初始化所述URL模块1031以及所述URL模块1031的接口子模块10311，或者调用所述URL模块1031；

所述URL模块1031用于对所述连接请求中的数据进行解密和分类，并根据所述数据的类型调用所述接口子模块10311；

所述接口子模块10311用于将所述数据写入本地文件系统。

优选地，所述工作单元100还包括：接收子单元101和传输子单元102；

所述接收子单元101包括用于监听数据接收类型的HTTP连接请求的网络端口，所述接收子单元101用于将监听到的所述数据接收类型的HTTP连接请求发送给所述协议层子单元103；

所述传输子单元102包括用于监听数据传输类型的HTTP连接请求的网络端口，所述传输子单元102用于将监听到的所述数据传输类型的HTTP连接请求发送给所述协议层子单元103。

优选地，所述系统还包括：管理单元200；所述管理单元200用于向所述工作单元100发送数据传输类型和命令管理类型的HTTP连接请求，并且用于接收所述工作单元100发送的，数据传输完成消息和数据接收完成消息。

本发明还提供一种所述数据采集系统实现数据采集的方法，其包括步骤：

C：加载并且初始化URL模块和所述URL模块的接口子模块；

D：接收HTTP连接请求，如果所述连接请求的类型为管理命令类型，执行所述步骤C，如果所述连接请求的类型为数据传输类型，执行步骤E，如果所述连接请求的类型为数据接收类型，执行步骤F；

E：将所述连接请求中的数据写入分布式文件系统，然后向管理单元发送数据传输完成消息，执行所述步骤D；

F：调用所述URL模块对所述连接请求中的数据进行解密和分类；

G：根据所述连接请求中的数据的类型，调用所述接口模块，将所述连接请求中的数据写入本地文件系统，判断所述接口模块的处理周期是否结束，如果结束，向所述管理单元发送数据接收完成消息，然后执行所述步骤D，否则，直接执行所述步骤D。

优选地，在所述步骤C之前还包括步骤B：创建主进程和多个子进程，所述子进程通过接收子单元的网络端口和命令子单元的网络端口监听HTTP连接请求，所述主进程通过所述接收子单元的网络端口、所述命令子单元的网络端口和传输子单元的网络端口监听HTTP连接请求。

优选地，在所述步骤B之前还包括步骤A：读取工作单元的系统配置文件。

优选地，所述步骤D具体包括步骤：

D1：接收HTTP连接请求；