[发明专利]一种基于机器学习的集群配置自动优化方法和系统

权利要求书

1.一种基于机器学习的集群配置自动优化方法，包括以下步骤：

收集训练样本集，该训练样本集反映配置参数和集群性能的对应关系；

基于所述训练样本集通过机器学习获得集群性能预测模型，将待优化的多组配置参数输入到所述集群性能预测模型，获得各组配置参数的预测的集群性能；

对于待优化的各组配置参数，以预测的集群性能作为其适应值，利用遗传算法寻找使集群性能最优的配置参数。

2.根据权利要求1所述的方法，其特征在于，收集训练样本集包括：

对于随机产生的一组配置参数，将其划分为静态配置部分和动态配置部分；

将静态配置部分在启动集群前写入到文件中，并将该文件发送到集群的各节点，将动态配置部分在启动集群后提供给集群的应用程序编程接口，并向集群发出修改配置参数的请求；

在集群修改所请求的配置参数后，通过运行基准测试程序，获得该组配置参数对应的集群性能。

3.根据权利要求2所述的方法，其特征在于，运行基准测试程序包括：

在ElasticSearch集群上，搭建EsRally集群，在各节点上启动Rally守护进程，该守护进程允许Rally与远程计算机进行通信；

在所搭建的EsRally集群中选择一个节点作为运行Rally测试的基准协调器；

运行数据收集脚本，收集各组配置参数对应的集群性能。

4.根据权利要求1所述的方法，其特征在于，基于所述训练样本集通过机器学习获得集群性能预测模型包括：

构建包含多个回归树的随机森林模型；

对所述训练样本集进行随机抽样，得到多个大小相同的子样本集，利用子样本集对各回归树独立进行训练；

将回归结果进行算术平均作为训练的最终结果。

5.根据权利要求1所述的方法，其特征在于，利用遗传算法寻找使集群性能最优的配置参数包括：

步骤S51：产生n组随机配置参数作为初始种群，其中，n是大于等于2的整数；

步骤S52：将该n组随机配置参数输入到所述集群性能预测模型，获得各组配置参数对应的集群性能作为适应值，并保存最小适应值对应的配置参数组合，作为父代的最优配置参数；

步骤S53：根据适应值大小进行个体选择，并进行基因交叉和变异，产生n-1组新的配置参数；

步骤S54：将所获得的父代最优配置参数和所产生的n-1组新的配置参数复制到子代中，得到子代种群；

步骤S55：通过对子代种群进行迭代搜索，寻找使集群性能最优的一组配置参数。

6.根据权利要求1所述的方法，其特征在于，利用遗传算法寻找使集群性能最优的配置参数包括：

产生n组随机配置参数作为初始种群，并指定迭代次数，其中n为大于等于2的整数；

基于所述集群性能预测模型获得各组配置参数对应的集群性能，作为其适应值，保存其中适应值最小的一组配置参数，作为父代最优配置参数；

每次从种群中随机选择两组配置参数，比较其适应值大小，将较小的一组配置参数复制到子代种群中，重复该过程，直到子代种群的大小比父代种群小1；

对于所选择的两组配置参数中一组配置参数，有0.6的概率在其中随机选择k个配置，再从另一组中随机选择n-k个配置，得到一组新的配置参数，其中k小于n；

对于所选择的两组配置参数中的一组配置参数，有0.01的概率进行基因突变操作，随机选择该组配置中的一个配置参数，在指定取值范围和步长的情况下进行随机取值；

将所保存的父代最优配置参数复制到子代中，得到一个与父代种群大小相等的子代种群，对该种群进行迭代操作，直到达到指定的迭代次数。

7.根据权利要求3所述的方法，其特征在于，基于ElasticSearch的索引操作与查询操作的特征选择所述待优化的配置参数。

8.根据权利要求3所述的方法，其特征在于，在收集各组配置参数对应的集群性能时，以索引操作的99％时延和查询操作的99.9％时延作为性能指标。