[发明专利]应用于舆情平台的大规模循环爬虫管理方法

说明书

本发明提供一种应用于舆情平台的大规模循环爬虫管理方法。本发明方法，包括：将包含爬虫程序的所有可执行文件添加到队列中；从队列中提取预设数目的可执行文件并执行，并将提取后的元素移出队列，添加在子进程中；当满足队列的个数大于0或者子进程的状态是正在运行的其中一个条件，即对子进程的状态进行判断，对运行的子进程中的可执行文件超时信息和非运行状态中的可执行文件报错信息进行报错；在遍历全部队列中的可执行文件后，通过预设的爬虫程序循环次数保证循环爬虫的循环执行。本发明通过让大规模循环爬虫的不断循环执行，提高大规模循环爬虫的管理效率，减少了人力资源的浪费，可以实时的发现运行过程中的错误，及时的对错误进行修改。

技术领域

本发明涉及互联网技术领域，尤其涉及一种应用于舆情平台的大规模循环爬虫管理方法。

背景技术

现有的对大规模循环爬虫的管理方法，主要还是使用线程池的方法对大规模循环爬虫进行管理。而在舆情平台的大规模循环爬虫的管理中，线程池的方法无法满足实际情况，不能将出现错误的子线程彻底结束，而是处在一种假死状态。对于舆情平台的大规模循环爬虫的管理，当爬虫程序出现错误时，是需要它彻底停止运行的，这种用线程池的方法是不可取的。

发明内容

根据上述提出的技术问题，而提供一种应用于舆情平台的大规模循环爬虫管理方法。本发明采用的技术手段如下：

一种应用于舆情平台的大规模循环爬虫管理方法，包括如下步骤：

将包含爬虫程序的所有可执行文件添加到队列中；

从队列中提取预设数目的可执行文件并执行，并将提取后的元素移出队列，添加在子进程中；

当满足队列的个数大于0或者子进程的状态是正在运行的其中一个条件，即对子进程的状态进行判断，对运行的子进程中的可执行文件超时信息和非运行状态中的可执行文件报错信息进行报错；

在遍历全部队列中的可执行文件后，通过预设的爬虫程序循环次数保证循环爬虫的循环执行。

进一步地，通过pyinstaller将写好的爬虫程序打包成所述可执行文件。

进一步地，所述添加队列的方法具体为：通过Queue生成一个新的队列，使用Queue方法中的Enqueue方法，把所有的可执行文件的名字添加到队列中。

进一步地，所述从队列中提取预设数目的可执行文件并执行具体为：使用Queue方法中的Dequeue方法，从队列最左边获取一个可执行文件名字，并将取到后的元素移出队列，使用Process方法创建一个新的子进程，使用Process方法中的Start方法执行所述可执行文件。

进一步地，所述子进程的状态进行判断，具体为：

如果子进程的状态为已结束，检查这个子进程中执行的exe文件是否报错，如果子进程报错了，将错误信息通过可视化报错的方式发送给管理者，最后在判断队列的个数，如果大于0，让其执行新的exe文件；

如果子进程的状态为正在运行，对这个子进程的运行时间进行计算，如果运行时间超过预设的时间，主动结束这个子进程，并将超时的信息以可视化报错的方式发送给管理者，最后在判断队列的个数，如果大于0，让其执行新的exe文件。

进一步地，当遍历全部队列中的可执行文件后，通过Thread.Sleep方法执行休眠操作，通过设置第一次执行和第二次执行之间的间隔的时间更改预设的休眠时间。

进一步地，所述可视化报错具体为：通过邮件的方式，将发送者邮箱、发送人、收件人、收件人邮箱、smtp服务器、发送人邮箱、密码、邮件内容、邮件主题赋值给指定变量，实现发送邮件的功能。