[发明专利]一种通过爬虫状态机管理爬虫的方法及装置

权利要求书

1.一种通过爬虫状态机管理爬虫的方法，其特征在于，包括：

根据预设的爬虫规则生成爬虫状态机；

将爬虫工作分解为多个阶段；

运行所述各个阶段的爬虫工作对应的爬虫任务；

在当前阶段的爬虫任务结束后，更新所述爬虫状态机的当前阶段的状态；

在所述爬虫状态机的当前阶段满足预设的完成条件时，运行下一个阶段的爬虫工作对应的爬虫任务。

2.如权利要求1所述的方法，其特征在于，所述将由爬虫工作分解为多个阶段，包括：

将由所述预设的爬虫规则生成的爬虫工作分解为多个阶段；

将所述爬虫工作的多个阶段中的各个阶段与所述爬虫状态机中的各个状态形成一一映射关系。

3.如权利要求1所述的方法，其特征在于，所述运行所述各个阶段的爬虫工作对应的爬虫任务，包括：

分析出所述各个阶段的爬虫工作的先后执行顺序；

按照所述各个阶段的先后执行顺序，来运行各个阶段对应的爬虫工作对应的爬虫任务，所述爬虫任务的数量至少为一个。

4.如权利要求1所述的方法，其特征在于，所述在当前阶段的爬虫任务结束后，更新所述爬虫状态机的当前阶段的状态，包括：

运行与当前阶段相应的爬虫任务来完成当前阶段；

在所述当前阶段相应的爬虫任务全部运行完成后，更新当前阶段的状态。

5.如权利要求1所述的方法，其特征在于，所述在所述爬虫状态机的当前阶段满足预设的完成条件时，运行下一个阶段的爬虫工作对应的爬虫任务，包括：

实时检测更新后的爬虫状态机的当前阶段的状态；

若更新后的爬虫状态机的当前阶段为未完成状态时，针对所述当前阶段再次生成新的爬虫任务并运行；

当所述爬虫状态机的当前阶段为完成状态时，继续运行下一个阶段的爬虫工作对应的爬虫任务，直至爬虫状态机的所有阶段全部为完成状态。

6.一种通过爬虫状态机管理爬虫的装置，其特征在于，包括：

生成模块，用于根据预设的爬虫规则生成爬虫状态机；

分解模块，用于将爬虫工作分解为多个阶段；

运行模块，用于运行所述各个阶段的爬虫工作对应的爬虫任务；

更新模块，用于在当前阶段的爬虫任务结束后，更新所述爬虫状态机的当前阶段的状态；

运行模块，用于在所述爬虫状态机的当前阶段满足预设的完成条件时，运行下一个阶段的爬虫工作对应的爬虫任务。

7.根据权利要求6的装置，其特征在于，所述分解模块，包括：

第一生成子模块，用于将由所述预设的爬虫规则生成的爬虫工作分解为多个阶段；

映射子模块，用于将所述爬虫工作的多个阶段中的各个阶段与所述爬虫状态机中的各个状态形成一一映射关系。

8.根据权利要求6的装置，其特征在于，所述运行模块，包括：

分析子模块，用于分析出所述各个阶段的爬虫工作的先后执行顺序；

第一运行子模块，用于按照所述各个阶段的先后执行顺序，来运行各个阶段对应的爬虫工作对应的爬虫任务，所述爬虫任务的数量至少为一个。

9.根据权利要求6的装置，其特征在于，所述更新模块，包括：

第二运行子模块，用于运行与当前阶段相应的爬虫任务来完成当前阶段；

更新子模块，用于在所述当前阶段相应的爬虫任务全部运行完成后，更新当前阶段的状态。

10.根据权利要求6的装置，其特征在于，所述运行模块，包括：

检测子模块，用于实时检测更新后的爬虫状态机的当前阶段的状态；

第二生成子模块，用于若更新后的爬虫状态机的当前阶段为未完成状态时，针对所述当前阶段再次生成新的爬虫任务并运行；

第三运行子模块，用于当所述爬虫状态机的当前阶段为完成状态时，继续运行下一个阶段的爬虫工作对应的爬虫任务，直至爬虫状态机的所有阶段全部为完成状态。