[发明专利]数据采集方法及装置

权利要求书

1.一种数据采集方法，其特征在于，应用于数据采集装置，包括：

获取通信模块与网络应用程序的通信数据；

获取与所述通信数据的通信接口相匹配的目标数据抽取模板，所述目标数据抽取模板是进行数据抽取的核心知识库，所述目标数据抽取模板至少包括以下任意一项：XML模版、json模版、html模板；

根据所述目标数据抽取模板从所述通信数据中获取目标数据，包括：如果匹配的目标数据抽取模板为多个，则根据多个目标数据抽取模板对所述通信数据进行抽取，将所述多个目标数据抽取模板的抽取数据进行整合，得到所述目标数据；

采用统一的封装存储逻辑存储所述目标数据；

所述获取通信模块与网络应用程序的通信数据，包括：

通过所述通信模块接收管理器发送的通信指令，所述通信指令用于指示所述通信模块根据所述通信指令与所述网络应用程序进行通信，所述通信模块为通信设备集群；

获取所述通信模块与所述网络应用程序进行通信而产生的符合预设条件的通信数据，所述预设条件至少包括以下任意一项：domain、host、url path和url parameters；

所述通信数据为所述通信模块与所述网络应用程序之间的网络请求数据和/或网络响应数据。

2.根据权利要求1所述的方法，其特征在于，在所述获取通信模块与网络应用程序的通信数据之后，所述方法还包括：

将所述通信数据写入分布式消息队列；

相应的，所述获取与所述通信数据的通信接口相匹配的目标数据抽取模板，包括：

从所述分布式消息队列中读取所述通信数据，获取与所述通信数据的通信接口相匹配的目标数据抽取模板。

3.根据权利要求1所述的方法，其特征在于，所述根据所述目标数据抽取模板从所述通信数据中获取目标数据，包括：

将所述通信数据转成统一格式；

根据所述目标数据抽取模板的规则抽取获取目标数据。

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标数据抽取模板从所述通信数据中获取目标数据，包括：

根据所述目标数据抽取模板从所述通信数据中抽取数据；

对所述抽取数据进行数据清洗得到所述目标数据。

5.根据权利要求1所述的方法，其特征在于，通过pull方式或者push方式获取所述通信指令。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

根据预先配置的抽取规则库生成所述目标数据抽取模板；其中，所述抽取规则库可编辑。

7.一种数据采集装置，其特征在于，包括：

通信数据获取模块，用于获取通信模块与网络应用程序的通信数据；

模板获取模块，用于与所述通信数据的通信接口相匹配的目标数据抽取模板，所述目标数据抽取模板是进行数据抽取的核心知识库，所述目标数据抽取模板至少包括以下任意一项：XML模版、json模版、html模板；

目标数据获取模块，用于根据所述目标数据抽取模板从所述通信数据中获取目标数据；所述目标数据获取模块具体用于：如果匹配的目标数据抽取模板为多个，则根据多个目标数据抽取模板对所述通信数据进行抽取；将所述多个目标数据抽取模板的抽取数据进行整合，得到所述目标数据；

存储模块，用于采用统一的封装存储逻辑存储所述目标数据；

所述通信数据获取模块具体用于：通过所述通信模块接收管理器发送的通信指令，所述通信指令用于指示所述通信模块根据所述通信指令与所述网络应用程序进行通信；获取所述通信模块与所述网络应用程序进行通信而产生的符合预设条件的通信数据，所述通信模块为通信设备集群，所述预设条件至少包括以下任意一项：domain、host、url path和urlparameters；

所述通信数据为所述通信模块与所述网络应用程序之间的网络请求数据和/或网络响应数据。