[发明专利]数据挖掘方法和节点

摘要

本发明实施例提供一种数据挖掘方法和节点，包括：获取本轮迭代任务中每个计算子节点的预计执行时间，并根据预计执行时间为计算子节点分配对应的任务数据量，在本轮迭代任务执行后，收集本轮迭代任务中每个计算子节点的执行情况信息，并以此判断下一轮迭代任务是否要对每个计算子节点的任务数据量进行调整，并在按照调整后的任务数据量进行下一轮迭代任务，从而能够根据每个计算子节点的能力分配相应的任务数据量，并且能够根据上一轮的执行情况对本轮任务中每个计算子节点的任务数据量做出调整，从而能够避免有些不必要的负载均衡过程，降低网络开销，提高系统的数据挖掘性能。

主权项

1.一种中心节点，应用于数据挖掘系统，其特征在于，所述中心节点包括：时间获取单元，用于获取第N轮迭代任务中，每个计算子节点的预计执行时间；分配单元，用于根据每个计算子节点的预计执行时间为每个计算子节点重分配任务数据；其中，所述任务数据为已获取的待挖掘的样本数据集的部分或全部数据；信息获取单元，用于在每个计算子节点根据分配的任务数据完成所述第N轮迭代任务后，若迭代任务未结束，则获取所述第N轮迭代任务中每个计算子节点的执行情况信息；第一判断单元，用于根据每个计算子节点的执行情况信息判断第N+1轮迭代任务是否需要进行负载均衡，若需要进行负载均衡，则将N的值加1后重复执行所述获取第N轮迭代任务中，每个计算子节点的预计执行时间至所述根据每个计算子节点的执行情况信息判断第N+1轮迭代任务是否需要进行负载均衡的步骤；若不需要进行负载均衡，则使每个计算子节点按照第N轮迭代任务中为该计算子节点分配的任务数据执行所述第N+1轮迭代任务，其中，N为正整数，N的起始值为1；其中，所述分配单元包括：节点选择单元，用于确定预计执行时间大于标准执行时间计算子节点，作为过载节点，并确定预计执行时间小于标准执行时间计算子节点，作为空闲节点；移出任务量确定单元，用于根据每个过载节点的预计执行时间以及标准执行时间，获取每个过载节点的任务迁移比例，并根据每个过载节点的任务迁移比例获取每个过载节点需要移出的任务数据量；移入任务量确定单元，用于根据每个空闲节点的预计执行时间以及所述标准执行时间，获取每个空闲节点的可移入任务比例，并根据每个空闲节点的可移入任务比例获取每个空闲节点的可移入的任务数据量；转移单元，用于按照过载节点的预计执行时间由大到小的顺序，依次将每个过载节点的任务数据按照该过载节点对应的需要移出的任务数据量移出，并将移出的任务数据按照空闲节点的预计执行时间由小到大的顺序，按照每个空闲节点的可移入的任务数据量依次移入到至少一个空闲节点中，直至所有过载节点需要移出的任务数据都迁移完成。