[发明专利]一种在大数据背景下的负载平衡方法

摘要

一种在大数据背景下的负载平衡方法，该方法包括步骤：接收待处理的大数据，确认大数据的完整性和有效性；估计待处理的大数据大小，并进行目的地空间判断；划分待处理的大数据；对待处理的大数据进行分布；以及在任务运行时进行负载平衡。通过以上过程，方法的执行既不影响系统的整体性能，又减少了平衡负载的资源消耗，并且有效地保障了由于各种不可控的原因或者故障导致的大数据安全性、负载平衡的效果和准确性。

主权项

1.一种在大数据背景下的负载平衡方法，包括：在步骤S1中，接收待处理的大数据，确认大数据的完整性和有效性；在步骤S2中，估计待处理的大数据大小，并进行目的地空间判断；在步骤S3中，划分待处理的大数据；在步骤S4中，对待处理的大数据进行分布；以及在步骤S5中，在任务运行时进行负载平衡；其中步骤S5进一步包括：步骤S51，确定节点的利用参数，其表示节点被利用的程度，其被表示为利用参数其中i表示第i个节点，i是正整数；L_i表示第i个节点的负载参数，而L'表示各个节点的标称负载参数，负载参数和标称负载参数是第i个节点的负载的函数表示，具体为L_i＝f(i)，L'＝f‘(i)；该标称负载参数L'是各个节点负载参数的平均值，或者该标称负载参数L'是各个节点负载参数的最小二乘值；其中步骤S5进一步包括：步骤S52，定期检测一个或多个或所有节点的负载利用参数，以根据每个节点的利用参数的值，将负载在节点之间移动以进行平衡；该检测采用随机信号发生器触发，进而使能检测器来执行；其中步骤S5进一步包括：步骤S53，当一个节点的利用参数大于零时，该节点向管理节点发送请求；管理节点获得该请求的节点的最邻近节点的利用参数；管理节点判断最邻近节点的利用参数，然后将有关利用参数小于零的最空闲相邻节点的详细信息发送到请求的节点，接下来请求的节点继续工作，其将选择最邻近节点；如果管理节点判断最邻近节点的利用参数的步骤中，参数都大于零，然后将有关最相邻节点的利用参数小于零的最空闲相邻节点的详细信息发送到请求的节点，接下来请求的节点继续工作，其将选择最相邻节点的最空闲相邻节点；其中步骤S5进一步包括：步骤S54，每个节点保持缓存区以接收负载请求，消息递送接口管理该缓存区，主要的线程检测缓存序列并服务接收的请求；其中该方法还包括：如果在系统发生故障或者执行错误的情况下，上述过程的步骤S5执行结果失效或者操作者认为结果不理想或者执行过程中断或者结果不准确，仅在初始阶段，将节点分为实体节点和临时节点，并据此进行负载平衡；在该次任务中，实体节点的使用优先权和频率高于临时节点，二者的比例可被设置为1:1或者2:1或者10:1；在一个任务完成后，控制器可根据使用频率和节点性能重新划分实体节点和临时节点；实体节点和临时节点中的任一个可根据其性能和使用频率进行均衡，以保证负载平衡的准确性并减少资源消耗；在任务执行且使用实体节点和临时节点期间，撷取执行的任务中的一个或多个实体节点和一个或多个临时节点；计算撷取的实体节点和临时节点的第二利用参数Ui’，其数量为其中Φ_j表示撷取的实体节点和临时节点中每个节点的权重，Λ_j表示撷取的实体节点和临时节点中每个节点的使用次数，q为包括能够执行功能的硬件模块的节点j的节点数量；计算差值的第三利用参数Ui_T’，其值是针对的撷取的实体节点和临时节点的Ui’的均值或者最小二乘值，比较器根据撷取的实体节点的第二利用参数和第三利用参数来进行负载平衡；如果(1)第二利用参数都比第三利用参数大，则继续比较撷取的临时节点的第二利用参数和第三利用参数，如果(11)比较结果都为大，则继续撷取其他临时节点，直至撷取的其他临时节点的第二利用参数小于第三利用参数，即采用该撷取的其他临时节点；如果(12)比较结果中有某个或某些为小，则采用该撷取的临时节点来平衡负载；如果(2)结果中有第二利用参数比第三利用参数小，则采用该比较结果为小的撷取的实体节点来均衡比较结果为大的撷取的实体节点，如果依旧不足以平衡，则继续撷取其他临时节点，直至其第二利用参数小于第三利用参数，即采用该撷取的其他临时节点；其中步骤S1进一步包括：接收待处理的大数据，确认大数据的完整性和有效性，如果大数据完整且有效则进行下一步操作，否则返回给发送方，以提示重新发送；其中步骤S2进一步包括：估计待处理的大数据大小，并进行目的地空间判断；如果待处理的大数据大小大于诸如数据节点之类的目的地空间的单位单元的大小，则用前者除以后者，以确定处理的单位单元的数量；如果相除结果不大于一，则确定数量为一个，否则按“进一法”确定单位单元数量；其中步骤S3进一步包括：划分待处理的大数据；将大数据划分为N个数据片段，其中N是正整数；其中步骤S4进一步包括：对待处理的大数据进行均衡分布，因为一般大数据由多个子节点保存，所以每个节点保存一部分片段，每个节点都是由一个主要子节点和多个辅助子节点组成的集群，借此保证大数据的安全；该负载平衡方法的执行不影响系统的整体性能，而且减少了平衡负载的资源消耗，有效地保障了由于各种不可控的原因或者故障导致的大数据安全性、负载平衡的效果和准确性。