[发明专利]Hadoop的配置参数的计算方法及系统

权利要求书

1.一种Hadoop的配置参数的计算方法，其特征在于，所述方法包括如下步 骤：

对工业环境下的实际的生产数据采样获得工业环境的小数据集；

随机产生Hadoop配置参数，并将工业环境的小数据集运行于Hadoop集群， 输出为运行时间‘

以时间为类标，Hadoop配置参数的组合为输入，采用信息增益的方案，输 出为Hadoop的重要配置参数；

采用遗传算法对获取的重要性参数迭代搜索最优配置组合。

2.根据权利要求1所述的方法，其特征在于，所述采用遗传算法对获取的 重要性参数迭代搜索最优配置组合具体，包括：

使用机器学习算法遗传算法对所述重要性参数进行选择、交叉、变异，多 次迭代搜索近似最优配置组合。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

用最优配置组合替换所述工业环境的Hadoop配置值。

4.一种Hadoop的配置参数的计算系统，其特征在于，所述系统包括：

采样单元，用于对工业环境下的实际的生产数据采样获得工业环境的小数 据集；

随机单元，用于随机产生Hadoop配置参数，并将工业环境的小数据集运行 于Hadoop集群，输出为运行时间‘

信息增益单元，用于以时间为类标，Hadoop配置参数的组合为输入，采用 信息增益的方案，输出为Hadoop的重要配置参数；

优化单元，用于采用遗传算法对获取的重要性参数迭代搜索最优配置组合。

5.根据权利要求4所述的系统，其特征在于，

所述优化单元具体，用于使用机器学习算法遗传算法对所述重要性参数进 行选择、交叉、变异，多次迭代搜索近似最优配置组合。

6.根据权利要求4所述的系统，其特征在于，所述系统还包括：

替换单元，用于用最优配置组合替换所述工业环境的Hadoop配置值。