[发明专利]一种分布式数据处理方法及系统

权利要求书

1.一种服务器端运行的分布式数据处理方法，其特征在于，包括如下步骤：

所述服务器实时获取客户端的资源信息；

所述服务器根据所述资源信息确定符合所述客户端处理能力的任务；

所述服务器为所述客户端分配并发送符合其处理能力的任务；

其中，所述任务中包含待处理数据的地址、插件库地址和处理所述待处理数据需要的处理指令类型；所述插件库里存储有即插即用的插件。

2.根据权利要求1所述的一种服务器端运行的分布式数据处理方法，其特征在于，还包括如下更新插件库的步骤：

将新的插件存储到所述插件库中；

将新的插件所对应的处理指令类型存储到所述服务器中。

3.根据权利要求1或2所述的一种服务器端运行的分布式数据处理方法，其特征在于，所述服务器为符合任务处理条件的客户端分配并发送符合该客户端处理能力的任务的步骤中，所述任务还包括待处理数据的状态，所述待处理数据的状态进一步包括客户端信息和标记信息，其中，

所述客户端信息为所述待处理数据分配给的所述客户端的信息；

所述标记信息为标记所述待处理数据被取走的信息。

4.根据权利要求3所述的一种服务器端运行的分布式数据处理方法，其特征在于，所述服务器实时获取客户端的资源信息的步骤进一步包括：

所述服务器接收客户端以周期T发送的心跳请求，其中，首次所述心跳请求为注册心跳请求，非首次心跳请求均为任务心跳请求，所述任务心跳请求包括所述客户端的资源信息和待处理数据的状态；

所述服务器为每个客户端建立一个存放该客户端心跳请求的消息队列；

所述服务器读取位于所述消息队列首部的所述心跳请求，读取后的心跳请求从所述消息队列中出列；当所述服务器读取的所述心跳请求为注册心跳请求时，则对发送该注册心跳请求的客户端进行注册；否则转入下一步；

所述服务器对所述心跳请求进行解析获取该客户端的资源信息。

5.根据权利要求4所述的一种服务器端运行的分布式数据处理方法，其特征在于，所述服务器对所述心跳请求进行解析后，得到所述客户端的待处理数据的状态，并根据所述待处理数据的状态对所述服务器中的任务的信息进行更新。

6.根据权利要求5所述的一种服务器端运行的分布式数据处理方法，其特征在于，所述服务器读取位于所述消息队列首部的所述心跳请求的步骤进一步包括：

所述服务器为每个消息队列中位于首部的一个心跳请求分配一个线程；

所述线程读取所述消息队列中位于首部的所述心跳请求；

所述服务器对所述心跳请求进行解析获取该客户端的资源信息的步骤进一步包括：

所述线程对取出的心跳请求进行解析；

所述线程判断发出该心跳请求的客户端是否有空闲资源。

7.根据权利要求6所述的一种服务器端运行的分布式数据处理方法，其特征在于，所述线程判断发出该心跳请求的客户端是否有空闲资源的步骤进一步包括：

所述线程对解析后的所述心跳请求进行分析；

所述线程判断心跳请求中记载的该客户端中是否有空闲的CPU内核，如有空闲的CPU内核，则判断该客户端资源空闲。

8.一种客户端运行的分布式数据处理方法，其特征在于，包括如下步骤：

所述客户端接收服务器发送的任务，并对所述任务进行解析得到待处理数据地址、插件库地址和处理指令类型，并根据解析出的插件库地址和处理指令类型得到用于处理该待处理数据的插件地址；其中，所述插件库里存储有即插即用的插件；

所述客户端根据所述插件地址加载所述插件；

所述客户端根据所述待处理数据地址取出所述待处理数据；

所述客户端用加载的所述插件来处理所述待处理数据得到处理后数据。

9.根据权利要求8所述的一种客户端运行的分布式数据处理方法，其特征在于，所述客户端以周期T将资源信息和待处理数据的状态以任务心跳请求的方式发送给所述服务器；并且所述客户端在发送首次任务心跳请求之前还包括发送注册心跳请求的步骤，发送所述注册心跳请求和发送所述首次任务心跳请求的时间间隔为T。