[发明专利]数据采集方法及装置、计算机可读存储介质

权利要求书

1.一种数据采集方法，其特征在于，包括：

调度模块调用第一解析器，并获取所述第一解析器解析调度模板得到的调度信息，所述调度模板以动态模板语言编写并存储；

所述调度模块根据所述调度信息，生成网络请求；

下载模块根据所述网络请求，下载网页源码；

解析模块调用第二解析器，并获取所述第二解析器按照解析模板处理所述网页源码得到的目标数据，所述解析模板与所述调度模板相对应，所述解析模板以动态模板语言编写并存储；

所述解析模块将所述目标数据发送给所述调度模块；

所述调度模块根据所述调度模板，输出或存储所述目标数据。

2.根据权利要求1所述的方法，其特征在于，所述调度信息还包括以下至少一种信息：入口信息、频率控制、请求方式、预处理方法、下属数据融合方式、额外数据处理方法。

3.一种数据采集装置，其特征在于，包括：调度模块、下载模块与解析模块；其中，

所述调度模块，用于调用第一解析器，并获取所述第一解析器解析调度模板得到的调度信息，所述调度模板以动态模板语言编写并存储；

所述调度模块，还用于根据所述调度信息，生成网络请求；

所述下载模块，用于根据所述网络请求，下载网页源码；

所述解析模块，还用于调用第二解析器，并获取所述第二解析器按照解析模板处理所述网页源码得到的目标数据，所述解析模板与所述调度模板相对应，所述解析模板以动态模板语言编写并存储；

所述解析模块，还用于将所述目标数据发送给所述调度模块；

所述调度模块，还用于根据所述调度模板，输出或存储所述目标数据。

4.根据权利要求3所述的装置，其特征在于，所述调度信息还包括以下至少一种信息：入口信息、频率控制、请求方式、预处理方法、下属数据融合方式、额外数据处理方法。

5.一种数据采集设备，其特征在于，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1或2所述的方法。

6.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，

所述计算机程序被处理器执行以实现如权利要求1或2所述的方法。