[发明专利]一种分布式数据处理方法及系统

说明书

技术领域

本发明涉及一种数据处理方法及系统，具体地说是一种客户端和服务器端运行的分布式数据处理方法及系统。

背景技术

所谓的分布式数据处理就是将不同地点的或具有不同功能的或拥有不同数据的多台计算机用通信网络连接起来，在统一的管理控制下，协调地完成信息处理任务的计算机数据处理方式。在可拆分的文件数据处理过程引入了分布式数据处理，即将单个计算机处理的数据由多台计算机来进行并发合作处理，能够为大量的文件数据处理提供有力的技术保障。在对应用大量数据文件进行处理的时候，特别是涉及到频繁图片压缩、文件格式转换等特别消耗计算机的性能，分布式数据处理的优势就会特别明显。

现有技术中公开了一种分布式系统及分布式系统处理任务流的方法，该专利对任务流进行处理时，针对任务流中的各个不同的可执行任务，服务器可以分别为其分配不同的客户端，由不同的客户端分别进行处理，从而实现对任务流的分布式处理。该专利虽然能够提供很好的数据处理性能和资源共享方式，但是当需要对新类型的数据进行处理时，由于客户端已有的数据处理方式无法完成该新类型数据的处理，因此就需要及时对客户端及服务器进行大规模的修改，比如修改分布式处理程序的服务器端控制器，并且新增客户端实现程序，这样对新类型数据处理的实现就会变得非常复杂和困难。当新增加客户端时，需要给每个新增的客户端逐个安装插件，整个分布式数据处理系统的可扩展性差。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中由于插件安装在客户端而导致的整个分布式文件系统可扩展性差的问题，提供一种可扩展性强的客户端和服务器端运行的分布式数据处理方法及系统。

为解决上述技术问题，本发明提供一种服务器端运行的分布式数据处理方法，包括如下步骤：

所述服务器实时获取客户端的资源信息；

所述服务器根据所述资源信息确定符合所述客户端处理能力的任务；

所述服务器为所述客户端分配并发送符合其处理能力的任务；

其中，所述任务中包含待处理数据的地址、插件库地址和处理所述待处理数据需要的处理指令类型；所述插件库里存储有即插即用的插件。

一种服务器端运行的分布式数据处理方法，还包括如下更新插件库的步骤：

将新的插件存储到所述插件库中；

将新的插件所对应的处理指令类型存储到所述服务器中。

一种服务器端运行的分布式数据处理方法，所述服务器为符合任务处理条件的客户端分配并发送符合该客户端处理能力的任务的步骤中，所述任务还包括待处理数据的状态，所述待处理数据的状态进一步包括客户端信息和标记信息，其中，

所述客户端信息为所述待处理数据分配给的所述客户端的信息；

所述标记信息为标记所述待处理数据被取走的信息。

一种服务器端运行的分布式数据处理方法，所述服务器实时获取客户端的资源信息的步骤进一步包括：

所述服务器接收客户端以周期T发送的心跳请求，其中，首次所述心跳请求为注册心跳请求，非首次心跳请求均为任务心跳请求，所述任务心跳请求包括所述客户端的资源信息和待处理数据的状态；

所述服务器为每个客户端建立一个存放该客户端心跳请求的消息队列；

所述服务器读取位于所述消息队列首部的所述心跳请求，读取后的心跳请求从所述消息队列中出列；当所述服务器读取的所述心跳请求为注册心跳请求时，则对发送该注册心跳请求的客户端进行注册；否则转入下一步；

所述服务器对所述心跳请求进行解析获取该客户端的资源信息。

一种服务器端运行的分布式数据处理方法，所述服务器对所述心跳请求进行解析后，得到所述客户端的待处理数据的状态，并根据所述待处理数据的状态对所述服务器中的任务的信息进行更新。

一种服务器端运行的分布式数据处理方法，所述服务器读取位于所述消息队列首部的所述心跳请求的步骤进一步包括：

所述服务器为每个消息队列中位于首部的一个心跳请求分配一个线程；

所述线程读取所述消息队列中位于首部的所述心跳请求；

所述服务器对所述心跳请求进行解析获取该客户端的资源信息的步骤进一步包括：

所述线程对取出的心跳请求进行解析；

所述线程判断发出该心跳请求的客户端是否有空闲资源。

一种服务器端运行的分布式数据处理方法，所述线程判断发出该心跳请求的客户端是否有空闲资源的步骤进一步包括：

所述线程对解析后的所述心跳请求进行分析；