[发明专利]任务分配在分布式系统的实现方法及系统

说明书

技术领域

本发明涉及数据处理领域，尤其涉及一种任务分配在分布式系统的实现方法及系统。

背景技术

网页采集是一种对特定网页进行采集的简称，对于网页采集而言，现有的网页采集一般在分布式系统内实现，但是现有的网页采集无法依据实际情况对网页采集的任务进行分配，无法依据具体的类型选择合适的执行方式，导致网页采集效率低。

发明内容

本申请提供一种任务分配在分布式系统的实现方法。其解决现有技术的技术方案效率低的缺点。

一方面，提供一种任务分配在分布式系统的实现方法，所述方法包括如下步骤：

分布式设备接收或发起任务消息，所述任务消息用于在分布式系统中分配网页采集任务；

分布式设备将N个数据包依次发送给分布式系统的其他M个设备；分布式设备统计M个设备返回的N个数据包的M组N个时延；分布式设备依据每组N个时延中的平均时延分配网页任务给执行设备；

执行设备对该分配网页任务的类型，依据所述类型调配与该类型的执行方式执行该网页任务。

可选的，所述分布式设备依据该M个时延和分配网页采集任务，具体包括：

分布式设备对平均时延在第一区间的X个设备分配第一组网页采集任务，将平均时延在第二区间的Y个设备分给第二组网页采集任务，其中第一区间的X个设备的平均时延低于第二区间的Y个设备的平均时延，第一组网页采集任务大于第二组网页采集任务。

可选的，所述依据所述类型调配与该类型的执行方式执行该网页任务包括：

执行设备调配单线程或多线程执行该网页任务。

第二方面，提供一种任务分配在分布式系统的应用系统，所述系统包括：分布式设备以及M个执行设备，所述分布式设备与M个执行设备连接；

分布式设备，用于接收或发起任务消息，所述任务消息用于在分布式系统中分配网页采集任务；将N个数据包依次发送给分布式系统的其他M个设备；统计M个设备返回的N个数据包的M组N个时延；依据每组N个时延中的平均时延分配网页任务给M个执行设备；

所述M个设备，用于接收分配网页采集任务。对该分配网页任务的类型，依据所述类型调配与该类型的执行方式执行该网页任务。

可选的，所述分布式设备，还用于对平均时延在第一区间的X个设备分配第一组网页采集任务，将平均时延在第二区间的Y个设备分给第二组网页采集任务，其中第一区间的X个设备的平均时延低于第二区间的Y个设备的平均时延，第一组网页采集任务大于第二组网页采集任务。

可选的，所述执行设备，还用于调配单线程或多线程执行该网页任务。

第三方面，提供一种分布式设备，包括：处理器、无线收发器、存储器和总线，所述处理器、无线收发器、存储器通过总线连接，

所述无线收发器，用于接收或发起任务消息，所述任务消息用于在分布式系统中分配网页采集任务；

所述处理器，用于将N个数据包依次发送给分布式系统的其他M个设备；统计M个设备返回的N个数据包的M组N个时延；依据每组N个时延中的平均时延分配网页任务。

可选的，所述处理器，用于对平均时延在第一区间的X个设备分配第一组网页采集任务，将平均时延在第二区间的Y个设备分给第二组网页采集任务，其中第一区间的X个设备的平均时延低于第二区间的Y个设备的平均时延，第一组网页采集任务大于第二组网页采集任务。

可选的，所述处理器，用于在配置完第一网页采集任务时，将第一网页采集任务群发给分布式系统的其他设备，接收其他设备返回的确认消息。

第四方面，提供一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行第一方面提供的方法。

本发明提供的技术方案通过平均时延来分配网页采集的任务，即平均时延较小的设备分配较多的网页采集任务，平均时延较大的设备分配较少的网页采集任务，并且通过类型选择与该类型匹配的方案执行，从而提高了效率的优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一较佳实施方式提供的一种任务分配在分布式系统的实现方法的流程图；

图2为本发明第二较佳实施方式提供的一种任务分配在分布式系统的应用系统的结构图。