[发明专利]一种任务队列生成方法、装置及设备

权利要求书

1.一种任务队列生成方法，包括：

获取多个待处理任务，其中，任一待处理任务中包含统一资源定位符URL；

针对每个待处理任务，确定其所包含的URL中的主机名，计算所述主机名的哈希值；

确定所述主机名的哈希值对N的余数；N是预定义数组所包含的数组元素的数量；

将该待处理任务分配至所述数组中与所述余数对应的数组元素进行存储；

从所述数组的每个数组元素中各取出一个待处理任务，将取出的N个待处理任务添加至当前的任务队列中的端部，生成新的任务队列，以便从所述任务队列的另一端向端部依次提取任务进行处理。

2.如权利要求1所述的方法，获取包含统一资源定位符URL的待处理任务，包括：

对所述URL进行规范化预处理，获取包含规范化预处理的URL的待处理任务。

3.如权利要求1所述的方法，将取出的N个待处理任务，添加至当前的任务队列中的端部，包括：

确定所述N个待处理任务中各任务的优先级别，将优先级别高的待处理任务从端部移除，并添加至当前的任务队列中的另一端。

4.如权利要求1所述的方法，还包括：

若所述新的任务队列中待处理任务的数量超过预设值，则暂停获取新的待处理任务。

5.如权利要求1所述的方法，将该待处理任务分配至所述数组中与所述余数对应的数组元素进行存储，包括：

确定所述数组元素的索引标识对应的分类标识，生成包含所述分类标识的待处理任务，其中，所述分类标识与所述索引标识一一对应；

将包含分类标识的待处理任务分配至所述数组中与所述余数对应的数组元素进行存储。

6.一种任务队列生成方法，应用于区块链取证场景中，所述方法包括：

获取多个取证任务，其中，任一取证任务中包含统一资源定位符URL，用于指定待取证的资源；

针对每个取证任务，确定其所包含的URL中的主机名，计算所述主机名的哈希值；

确定所述主机名的哈希值对N的余数；N是预定义数组所包含的数组元素的数量；

将该取证任务分配至所述数组中与所述余数对应的数组元素进行存储；

从所述数组的每个数组元素中各取出一个取证任务，将取出的N个取证任务添加至当前的任务队列中的端部，生成新的任务队列，以便从所述任务队列的另一端向端部依次提取任务进行处理。

7.一种基于权利要求1至6任一所述的任务队列的分配方法，包括：

针对任一任务处理节点，获取该任务处理节点的权重；

从所述任务队列的另一端依次取出任务，根据各任务处理节点的权重将取出的任务分配给各任务处理节点，其中，任务处理节点的权重与被分配到任务的概率正相关。

8.如权利要求7所述的方法，当所述任务队列中的任务还包含分类标识时，

相应的，获取该任务处理节点的权重，包括：分别获取该任务处理节点对于各类任务的权重，其中，该任务处理节点对于i类任务的权重与该任务处理节点当前正在处理的第i类任务的数量负相关，N≥i≥1；

相应的，根据各任务处理节点的权重分配给各任务处理节点，包括：根据各任务处理节点对于i类任务的权重，将第i类任务分配给各任务处理节点。

9.一种任务队列生成装置，包括：

获取模块，获取多个待处理任务，其中，任一待处理任务中包含统一资源定位符URL；

计算模块，针对每个待处理任务，确定其所包含的URL中的主机名，计算所述主机名的哈希值；

确定模块，确定所述主机名的哈希值对N的余数；N是预定义数组所包含的数组元素的数量；

分配模块，将该待处理任务分配至所述数组中与所述余数对应的数组元素进行存储；

生成模块，从所述数组的每个数组元素中各取出一个待处理任务，将取出的N个待处理任务添加至当前的任务队列中的端部，生成新的任务队列，以便从所述任务队列的另一端向端部依次提取任务进行处理。