[发明专利]一种防止网络爬虫死锁的资源配置方法

权利要求书

1.一种防止网络爬虫死锁的资源配置方法，其特征在于包括以下步骤：

（1.1）在系统运行过程中为爬虫进程动态的申请资源和试探性分配资源；

（1.2）计算此分配资源操作的安全性；

（1.3） 基于安全性的分配成立或分配作废操作；

（1.4）重复执行步骤（1.1-1.3）为系统各爬虫进程动态分配资源。

2.根据权利要求1所述的防止网络爬虫死锁的资源配置方法，其特征在于，步骤（1.1）中所述的在系统运行过程中为爬虫进程动态的申请资源和试探性分配资源必须严格满足以下条件：爬虫进程提出某类资源分配请求时，请求的该类资源小于或等于该进程仍需要的这类资源数量；请求的资源小于或等于系统该类资源剩下的数量，若满足以上条件，系统做试探分配资源，修改资源分配数据；否则出错，等待用户重新申请或停止。

3.根据权利要求2所述的防止网络爬虫死锁的资源配置方法，其特征在于，步骤（1.2）中所述的计算此分配资源的安全性在于系统是否能找到一个安全序列。

4.根据权利要求3所述的防止网络爬虫死锁的资源配置方法，其特征在于，步骤（1.3）中基于安全性的分配成立或分配作废操作，若判断不会导致系统进入不安全状态，则（1.1）中爬虫进程的试探性分配成立；否则试探性分配作废，系统恢复原状，进程等待。

5.根据权利要求4所述的防止网络爬虫死锁的资源配置方法，其特征在于，系统为某个满足条件的爬虫进程做试探性分配资源时修改资源分配数据时，主要包括以下操作：

（5.1）系统剩余资源更新：减去爬虫进程申请的资源数为更新后的结果；

（5.2）爬虫进程仍需资源更新：减去爬虫进程申请的资源数为更新的结果；

（5.3）系统已为该进程分配资源更新：加上爬虫进程申请的资源数为新的结果。

6.根据权利要求5所述的防止网络爬虫死锁的资源配置方法，其特征在于，安全序列是指对于序列中的每一个进程Pi,它以后尚需要的资源量不超过系统当前剩余资源量和所有爬虫进程Pj（j<i）当前占有资源量之和。

7.根据权利要求6所述的防止网络爬虫死锁的资源配置方法，其特征在于，在试探性分配作废时，主要包含以下步骤：

（7.1）系统剩余资源更新：加上爬虫进程申请的资源数为更新后的结果；

（7.2）爬虫进程仍需资源更新：加上爬虫进程申请的资源数为更新后的结果；

（7.3）系统已为该进程分配资源更新：减去爬虫进程申请的资源数为更新后的结果。

8.根据权利要求6所述的防止网络爬虫死锁的资源配置方法，其特征在于，安全序列的查找包含以下步骤：

（8.1）设置工作向量Work，其初始值为当前系统各类资源剩余量；设置记录进程是否完成向量FINISH，对每个爬虫进程都设置为false，表示都未完成；

（8.2）从爬虫进程集合中找到一个满足下述条件的爬虫进程：FINISH等于false；仍需要的资源小于或等于Work向量，如找到，执行（8.3）；否则，执行（8.4）；

（8.3）爬虫进程仍需要的资源小于系统剩余的资源，可以假设先将该进程执行，直至完成，从而释放资源，更新Work和FINISH向量，使Work等于Work加上该爬虫进程已经分配的资源，并将该进程FINISH设为true将并跳转到步骤（8.2）；

（8.4）如所有爬虫进程FINISH都等于true，则表示安全，即找到安全序列；否则表示系统不安全，无安全序列。

9.根据权利要求1所述的防止网络爬虫死锁的资源配置方法，其特征在于，步骤（1.4）中所述的重复执行步骤（1.1-1.3）为系统各爬虫进程动态分配资源，即重复为系统各爬虫进程申请资源、试探性分配资源、安全性检验、试探性分配成立或废除操作，实现系统各爬虫进程并行处理的过程。