[发明专利]一种在大数据背景下的负载平衡方法

说明书

一种在大数据背景下的负载平衡方法，该方法包括步骤：接收待处理的大数据，确认大数据的完整性和有效性；估计待处理的大数据大小，并进行目的地空间判断；划分待处理的大数据；对待处理的大数据进行分布；以及在任务运行时进行负载平衡。通过以上过程，方法的执行既不影响系统的整体性能，又减少了平衡负载的资源消耗，并且有效地保障了由于各种不可控的原因或者故障导致的大数据安全性、负载平衡的效果和准确性。

技术领域

本发明属于电数据数字处理技术领域，涉及一种针对大数据背景下的数据处理方法，更具体而言，涉及一种在大数据背景下的负载平衡方法。

背景技术

随着社会工业化、信息化水平的不断提高，如今数据已取代计算成为信息计算的中心，云计算、大数据正在成为一种趋势和潮流。包括存储容量、可用性、I/O性能、数据安全性、可扩展性等诸多方面。大数据是规模非常巨大和复杂的数据集。大数据有4V：Volume(大量)，数据量持续快速增加；Velocity(高速)，数据I/O速度更快；Variety(多样)，数据类型和来源多样化；Value(价值)，其存在各方面的可用价值。另外,大数据除了表示海量的信息,同时还是人们获得新认知、创造新价值的源泉，其开启了一次重大的时代转型,随着大数据时代的到来,我们需要以全新的眼光去审视和挖掘数据的潜在价值。

大数据的影响渗透到了各行业，对未来的科技和经济发展带来深远影响。其中，传统节点通过改进以兼容大数据技术,以用于大数据管理、分析和挖掘；还推出了新型软硬件产品。大数据是对传统数据节点的补充和延伸。然而，如何合理地存储和处理大数据是一大难题。现有技术中已经有诸多可提供有效和强大的并行处理方法,但是由于数据偏态(skew)的存在，在大数据分布不均衡时,节点会在运行时负载不平衡,部分任务会拖整个任务的后退,导致系统的性能降低,延长整个任务的时间。

对此，提出了负载平衡的概念，负载平衡是一种计算能力共享的形式，其是为了改善系统的性能,通过在处理结点之间重新分配负载,把当前重载处理结点的任务传送到轻载的处理结点执行，目的是使各处理结点之间的负载基本均衡。

但是，现有技术中的负载平衡方案或者影响系统的整体性能，或者增加了平衡负载的资源消耗，而且由于各种不可控的原因或者故障，大数据的安全性、负载平衡的效果和准确性不能够得到有效的保障。有鉴于此，本发明提出一种在大数据背景下的负载平衡方法，其能够有效地解决上述技术问题。

发明内容

本发明的目的之一是提供一种在大数据背景下的负载平衡方法，该方法的执行不影响系统的整体性能，而且减少了平衡负载的资源消耗，并且有效地保障了由于各种不可控的原因或者故障导致的大数据安全性、负载平衡的效果和准确性。

本发明为解决上述技术问题而采取的技术方案为：一种在大数据背景下的负载平衡方法，包括：在步骤S1中，接收待处理的大数据，确认大数据的完整性和有效性；在步骤S2中，估计待处理的大数据大小，并进行目的地空间判断；在步骤S3中，划分待处理的大数据；在步骤S4中，对待处理的大数据进行分布；以及在步骤S5中，在任务运行时进行负载平衡。

根据本发明的一个方面，步骤S1进一步包括：接收待处理的大数据，确认大数据的完整性和有效性，如果大数据完整且有效则进行下一步操作，否则返回给发送方，以提示重新发送。

根据本发明的另一个方面，步骤S2进一步包括：估计待处理的大数据大小，并进行目的地空间判断；如果待处理的大数据大小大于诸如数据节点之类的目的地空间的单位单元的大小，则用前者除以后者，以确定处理的单位单元的数量。

根据本发明的另一个方面，步骤S3进一步包括：划分待处理的大数据；将大数据划分为N个数据片段，其中N是正整数。

根据本发明的另一个方面，步骤S4进一步包括：对待处理的大数据进行均衡分布，因为一般大数据由多个子节点保存，所以每个节点保存一部分片段，每个节点都是由一个主要子节点和多个辅助子节点组成的集群，借此保证大数据的安全。