[发明专利]一种基于关键词检索的网络爬虫调度方法及系统

摘要

本发明公开一种基于关键词检索的网络爬虫调度方法及系统，方法包括调度端接收到抓取节点发送的任务请求命令；调度端从优先桶获取二次下载链接地址生成任务并加入任务列表，从动态桶获取关键词链接地址，并根据与关键词链接地址对应的页码数量衍生出所述页码数量的衍生链接地址，根据所述页码数量的衍生链接地址生成所述页码数量的任务并加入任务列表，从基本桶获取关键词链接地址生成任务并加入任务列表，调度端向抓取节点返回任务列表。本发明通过调整各虚拟桶的允许加入任务数量，从而灵活地调整不同类型的链接地址的调用数量。同时更频繁地抓取热门关键词，避免数据遗漏，减少对冷门关键词的重复抓取。

主权项

一种基于关键词检索的网络爬虫调度方法，其特征在于，包括：步骤(11)，抓取节点向调度端发送任务请求命令；步骤(12)，调度端接收到抓取节点发送的任务请求命令；步骤(13)，调度端从保存二次下载链接地址的优先桶获取二次下载链接地址生成任务并加入任务列表，如果已达到任务列表的允许加入优先桶数量，则执行步骤(16)，否则执行步骤(14)，所述二次下载链接地址为所述抓取节点根据任务列表中的任务进行抓取得到抓取页面，从抓取页面中分析得到需要进行二次下载的链接地址；步骤(14)，调度端从保存关键词多页码链接地址的动态桶获取关键词链接地址，并根据与关键词链接地址对应的页码数量衍生出所述页码数量的衍生链接地址，根据所述页码数量的衍生链接地址生成所述页码数量的任务并加入任务列表，如果已达到任务列表的允许加入动态桶数量，则执行步骤(16)，否则执行步骤(15)，所述关键词链接地址为在目标网站中根据所述关键词所生成的搜索结果页面的链接地址，且动态桶中的关键词链接地址对应的搜索结果页面包括大于或等于预设页码数量阈值的页码数量，所述页码数量阈值大于或等于2；步骤(15)，调度端从保存关键词链接地址的基本桶获取关键词链接地址生成任务并加入任务列表，如果已达到任务列表的允许加入基本桶数量，则执行步骤(16)，所述关键词链接地址为在目标网站中根据所述关键词所生成的搜索结果页面的链接地址，且基本桶中的关键词链接地址对应的搜索结果页面包括小于预设页码数量阈值的页码数量；步骤(16)，调度端向抓取节点返回任务列表，所述抓取节点根据所接收到的任务列表执行任务列表中的任务。