[发明专利]支撑点并行枚举负载均衡方法、装置、设备及介质

说明书

本申请提供了一种支撑点并行枚举负载均衡方法、装置、设备及介质，所述方法涉及对节点负载情况的预测，包括：利用人工神经网络的自学习能力，建立节点的状态参数与节点内子进程的负载情况之间的对应关系；获取节点的当前状态参数；通过对应关系，确定与当前状态参数对应的当前负载情况；具体地，确定与状态参数对应的当前负载情况，包括：将对应关系中与当前状态参数相同的状态参数所对应的负载等情况，确定为当前负载情况；依据当前负载情况，增加或减少子进程的处理任务，在运行并行的支撑点枚举算法时，能更加充分利用异构并行平台计算资源得出大数据量下的最优支撑点组合，以确保同一节点被分配到的任务负载接近，从而缓解负载均衡的问题。

技术领域

本申请涉及大数据挖掘领域，特别是支撑点并行枚举负载均衡方法、装置、设备及介质。

背景技术

目前，已经有一些支撑点选取算法，但是不同算法间的性能差别往往不大，用复杂的数学工具以很高的构建计算代价得到的支撑点带来的索引性能提升往往相对较少。

随着数据量增大，将会出现计算量呈指数级上升，计算时间过长的问题，将影响到整个领域的研究进度，因此，研究一种计算时间短的支撑点枚举方式是目前亟待解决的问题。

现有技术中，IOPEA(Parallel Pivot Enumeration Algorithm on I/OMultiplexing基于IO复用的支撑点并行枚举算法)，在程序初始就将需要计算的数据切分成更多的部分，在将待处理的任务分发给CPU核或GPU卡后，通过使用select不断轮询监听多个子进程句柄，任意一个子进程计算完毕并且返回结果后，即为它分发下一个计算任务，通过轮训机制，可以及时有效地发现空闲计算资源，然后为其派送任务以达到充分利用硬件资源的目的；虽然在多重并行的前提下，采用I/O复用的方法，能及时发现未被利用的计算资源。但是该策略有着明显的缺陷，需要采用I/O复用的方法，对多个进程进行不间断扫描，以阻塞模式监听读事件，借此判断该进程计算是否结束，这样就造成了资源的浪费。

发明内容

鉴于所述问题，提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的支撑点并行枚举负载均衡方法、装置、设备及介质，包括：

一种支撑点并行枚举负载均衡方法，所述方法涉及对节点的负载情况的预测，其特征在于，包括：

利用人工神经网络的自学习能力，建立节点的状态参数与节点内子进程的负载情况之间的对应关系；

获取节点的当前状态参数；具体地，所述状态参数，包括：任务参数和/或性能参数，和/或由按设定规律自所述任务参数、所述性能参数中提取的特征组成的一维或两维以上的数组，数据转化为图像序列进行显示以及分析；

通过所述对应关系，确定与所述当前状态参数对应的当前负载情况；具体地，确定与所述状态参数对应的当前负载情况，包括：将所述对应关系中与所述当前状态参数相同的状态参数所对应的负载等情况，确定为所述当前负载情况；

依据所述当前负载情况，增加或减少所述子进程的处理任务。

进一步地，所述任务参数，包括：任务数量、子进程数量、任务分割方式中的至少之一；

和/或，

所述性能参数，包括：子进程计算速度；

和/或，

所述对应关系，包括：函数关系；

所述状态参数为所述函数关系的输入参数，所述负载情况为所述函数关系的输出参数；

通过所述对应关系，确定与所述当前状态参数对应的当前负载情况的步骤，包括：

当所述对应关系包括函数关系时，将所述当前状态参数输入所述函数关系中，确定所述函数关系的输出参数为当前负载情况。