[发明专利]一种网络爬虫方法及装置

权利要求书

1.一种网络爬虫方法，其特征在于，包括：

获取网络爬虫任务的配置文件，所述配置文件包括所述网络爬虫任务的每一个执行阶段的标识、所述每一个执行阶段的执行顺序及所述每一个执行阶段对应的配置参数；

根据所述每一个执行阶段的标识以及所述每一个执行阶段的执行顺序，确定所述网络爬虫任务的当前执行阶段；

获取所述当前执行阶段的输入数据，所述输入数据为所述当前执行阶段之前的上一个执行阶段的输出数据，所述输入数据或所述输出数据是通过预设的输入输出接口格式进行输入或输出的；

将所述输入数据中的配置参数的类型和所述当前执行阶段对应的配置参数的类型进行对比，得到所述当前执行阶段对应的配置参数中与所述输入数据中的配置参数类型不匹配的第一配置参数；

确定将所述输入数据中的配置参数转换为所述第一配置参数的转换规则；

根据所述转换规则对所述输入数据中的配置参数进行转换，得到所述当前执行阶段对应的配置参数；

根据所述当前执行阶段对应的配置参数和所述输入数据执行所述当前执行阶段。

2.根据权利要求1所述的方法，其特征在于，所述当前执行阶段的输入数据包括所述网络爬虫任务的配置文件和所述上一个执行阶段的执行结果数据。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

生成包括所述当前执行阶段的执行结果数据的输出数据。

4.根据权利要求1所述的方法，其特征在于，所述配置文件中包括线程配置数据；所述方法还包括：

读取所述线程配置数据，所述线程配置数据中包括每一个执行阶段的单次并行执行的线程数；

按照所述每一个执行阶段的单次并行执行的线程数，执行所述每一个执行阶段。

5.一种网络爬虫装置，其特征在于，包括：

第一获取模块，用于获取网络爬虫任务的配置文件，所述配置文件包括所述网络爬虫任务的每一个执行阶段的标识、所述每一个执行阶段的执行顺序及所述每一个执行阶段对应的配置参数；

确定模块，用于根据所述每一个执行阶段的标识以及所述每一个执行阶段的执行顺序，确定所述网络爬虫任务的当前执行阶段；

第二获取模块，用于获取所述当前执行阶段的输入数据，所述输入数据为所述当前执行阶段之前的上一个执行阶段的输出数据，所述输入数据或所述输出数据是通过预设的输入输出接口格式进行输入或输出的；

所述装置还包括：第一执行模块，其中，所述第一执行模块包括：对比子模块、确定子模块、转换子模块和执行子模块；

所述对比子模块，用于将所述输入数据中的配置参数的类型和所述当前执行阶段对应的配置参数的类型进行对比，得到所述当前执行阶段对应的配置参数中与所述输入数据中的配置参数类型不匹配的第一配置参数；

所述确定子模块，用于确定将所述输入数据中的配置参数转换为所述第一配置参数的转换规则；

所述转换子模块，用于根据所述转换规则对所述输入数据中的配置参数进行转换，得到所述当前执行阶段对应的配置参数；

所述执行子模块，用于根据所述当前执行阶段对应的配置参数和所述输入数据执行所述当前执行阶段。

6.根据权利要求5所述的装置，其特征在于，所述第二获取模块获取的当前执行阶段的输入数据包括所述网络爬虫任务的配置文件和所述上一个执行阶段的执行结果数据。

7.根据权利要求5所述的装置，其特征在于，所述装置还包括：

生成模块，生成包括所述当前执行阶段的执行结果数据的输出数据。

8.根据权利要求5所述的装置，其特征在于，所述装置还包括：

读取模块，用于读取所述配置文件中的线程配置数据，所述线程配置数据中包括每一个执行阶段的单次并行执行的线程数；

第二执行模块，用于按照所述每一个执行阶段的单次并行执行的线程数，执行所述每一个执行阶段。