[发明专利]一种数据挖掘方法及装置

权利要求书

1.一种数据挖掘方法，其特征在于，所述方法应用于分布式系统，所述分布式系统包括至少一个节点，所述方法包括：

确定数据挖掘流程的多个执行步骤；

获取所述各执行步骤在运行过程中所需的物理资源与所述数据挖掘流程的输入数据所占的物理资源之间的对应关系；

确定执行所述各执行步骤的节点，所述节点为所述各执行步骤提供物理资源；

根据所述对应关系和用于执行相应执行步骤的节点所拥有的物理资源，确定执行各个步骤的节点所能处理的所述输入数据的最大数据量；

根据所述执行各个步骤的节点所能处理的输入数据的最大数据量，确定所述分布式系统所能处理的输入数据的最大数据量；

根据所述分布式系统所能处理的输入数据的最大数据量，对准备挖掘的数据按照所述数据挖掘流程进行处理。

2.根据权利要求1所述的方法，其特征在于，所述确定数据挖掘流程的多个执行步骤，具体包括：

获取执行所述数据挖掘流程的多个执行步骤，分析所述多个执行步骤中产生的过程数据；

当确定以所述过程数据作为输入数据的执行步骤个数为一个，并且所述确定出的一个执行步骤的输入数据不包含除所述过程数据以外的其它的过程数据时；

合并产生所述过程数据的执行步骤和以所述过程数据为输入的执行步骤为一个优化的执行步骤。

3.根据权利要求1或2所述的方法，其特征在于，所述确定数据挖掘流程的多个执行步骤，具体包括：

获取执行所述数据挖掘流程的多个执行步骤，分析所述多个执行步骤中产生的过程数据；

当确定连续的两个或两个以上的执行步骤，其每次处理的单位是单个样本时；

合并所述两个或两个以上的执行步骤。

4.根据权利要求1或2所述的方法，其特征在于，在所述对应关系具体表现为比值参数时，所述获取所述各执行步骤在运行过程中所需的物理资源与所述数据挖掘流程的输入数据所占的物理资源之间的对应关系，具体包括：

针对所述多个执行步骤中的每一个执行步骤，确定所述执行步骤运行时，其输入数据和输出数据一共所占用的物理资源与所述数据挖掘流程的输入数据占用的物理资源的比值。

5.根据权利要求1或2所述的方法，其特征在于，在所述执行步骤具体为优化的执行步骤，并且所述优化的执行步骤内部产生的过程数据所占用的物理资源大于所述优化的执行步骤的输入数据和/或输出数据，则所述获取所述各执行步骤在运行过程中所需的物理资源与所述数据挖掘流程的输入数据所占的物理资源之间的对应关系，具体包括：

确定所述过程数据所占用的物理资源、优化的执行步骤的输入数据所占用的物理资源和优化的执行步骤的输出数据所占用的物理资源，三者分别与所述数据挖掘流程的输入数据所占的物理资源的三个比值中较大的两个比值，求和计算得到所述优化的执行步骤在运行过程中所需的物理资源与所述数据挖掘流程的输入数据所占的物理资源之间的比值参数。

6.根据权利要求1或2所述的方法，其特征在于，所述根据执行各个步骤的节点所能处理的输入数据的最大数据量，确定所述分布式系统所能处理的输入数据的最大数据量，还包括：

筛选各节点所能够允许输入数据的一个或多个最大数据量，并将所述一个或多个最大数据量中最小的值作为所述分布式系统中运行所述数据挖掘流程所能处理的输入数据的最大数据量。

7.根据权利要求1或2所述的方法，其特征在于，所述根据所述最大数据量，对准备挖掘的数据按照所述数据挖掘流程进行处理，具体包括：

根据所述最大数据量，确定从准备挖掘的数据中选择的数据列的最大数量K，所述K为整数；

从所述准备挖掘的数据中选择K个数据列，所述K个数据列包括K-1个特征列和一个目标列。

8.根据权利要求7所述的方法，其特征在于，所述从所述准备挖掘的数据中选择K个数据列，包括：

对所述准备挖掘数据中的特征列进行聚类计算，得到P个簇，所述P为整数；

根据特征列与目标列之间的相关性，从所述P个簇中筛选出K个数据列。