[发明专利]分布式数据处理方法

说明书

技术领域

本发明涉及一种分布式数据处理方法，尤其是一种针对大数据的分布式数据处理方法。

背景技术

数据处理一般分为集中式数据处理和分布式数据处理。集中式数据处理存在的最大问题是数据处理速度较慢，同时，对计算机的性能要求也比较高。

由于个人计算机的性能得到极大的提高及其使用的普及，使处理能力分布到网络上的所有计算机成为可能。分布式计算是和集中式计算相对立的概念，分布式计算的数据可以分布在很大区域。

分布式网络中，由于每台计算机都能够处理数据，所以不要求计算机功能十分强大，其价格也就不必过于昂贵。这种类型的计算机可以适应用户的各种需要，同时允许他们共享网络的数据、资源和服务。在分布式网络中使用的计算机既能够作为独立的系统使用，也可以把它们连接在一起得到更强的网络功能。但是，目前的分布式数据处理存在这样一个问题，由于多台子计算机在数据处理时，当子计算机完成任务后，其则停止工作，而其他未完成任务的子计算机还有继续工作，这样造成了资源的浪费。

发明内容

本发明的目的是提供一种计算速度快、可充分利用子计算机的分布式数据处理方法。

根据本发明的一个方面，提供一种分布式数据处理方法，其包括：

S1，主计算机根据子计算机的数量把数据分成相应的段数，每台子计算机分配一个子数据；

S2，子计算机收到主计算机发来的子数据，每台计算机独立求解分配到的子数据；

S3，子计算机内部自我调节，先完成任务的子计算机分担未完成任务的子计算机任务；

S4，把计算结果发给主计算机；

S5，主计算机接收每个子计算机的计算结果；

S6，主计算机将结果汇总输出。

优选地，根据所述子计算机的计算能力给所述子计算机设置不同的权重，所述主计算机根据每台子计算机的权重给子计算机分配相应的子数据，所有子计算机的权重加在一起为1。

优选地，给子计算机按顺序编号，先完成任务的子计算机优先分担其后面的最靠近的未完成任务的子计算机任务。

优选地，所述先完成任务的子计算机分担未完成任务的子计算机剩余任务的50％。

优选地，所述子计算机和主计算机位于同一个局域网内或者同一个广域网内。

优选地，所述子计算机位于同一个局域网内，所述子计算机和主计算机位于同一个广域网内。

优选地，所述子数据存储在对应的子计算机内。

优选地，所述主计算机存储每个子计算机的子数据，当子计算机停止工作时，主计算机将该子计算机的数据分给其他正常工作的子计算机。

优选地，所述主计算机根据其他正常工作的子计算机的权重来给该些子计算机分配停止工作的子计算机的子数据。

优选地，所述主计算机实时监控并实时存储每个子计算机的剩余子数据，当监控到子计算机的子数据计算完时，主计算机将存储的未完成计算的子计算机的子数据的一部分分配给完成计算的子计算机。

本发明提供的分布式数据处理方法通过子计算机内部自我调节，先完成任务的子计算机分担未完成任务的子计算机任务，以此来提供数据的处理速度。

附图说明

图1为本发明的分布式数据处理方法的流程图。

具体实施方式

现在将详细参考附图描述本发明的实施例。

参见图1所示，图1示出一种分布式数据处理方法，其包括：

S1，主计算机根据子计算机的数量把数据分成相应的段数，每台子计算机分配一个子数据。图1中仅示出了一台子计算机。本领域的技术人员很容易知道，在实际应用中，一般是有多台子计算机。