[发明专利]基于RF算法的MySQL数据库参数筛选方法

说明书

本发明提供一种基于RF算法的MySQL数据库参数筛选方法，涉及数据库技术领域。本发明通过计算每个参数的重要性，同时对参数的默认值进行判定，若判定当前参数的默认值效果较好，则不对该参数进行调优，将它从序列中删掉，然后根据特征贡献度对剩下的参数进行排序，选择top K的参数进行数据库参数调优。不仅大大提高了参数调优的效率，还节省了人力、物力和时间的花销。

技术领域

本发明涉及数据库技术领域，尤其涉及一种基于RF算法的MySQL数据库参数筛选方法。

背景技术

数据库系统(DBMS)的性能由上百个参数配置决定，合理的参数配置能够提高数据库系统的性能，如更高的吞吐量等。MySQL数据库参数数量大，超过500个，如果对所有参数进行调优，不仅增加了调优难度，而且人力、物力消耗巨大，专业的数据库管理员在实际生产环境中优化数据库参数时，会根据业务场景调整30个左右的相关的参数，而不是对所有的参数都进行调优。因为数据库会根据工作负载的不同对各种资源的需求不同，只需调整在此条件下对数据库影响较大的参数，就能得到较高的性能。而且，MySQL数据库中每个参数都有默认值，有的默认值已经很好了，无需再修改。所以，需要根据工作负载对MySQL参数进行筛选。

对MySQL参数进行人工筛选，不仅耗时大，还还能漏掉重要参数。于是，国内外学者开始使用算法根据参数特征自动筛选参数。目前，主要的人工智能方法为OtterTune在2017年SIGMOD会议上提出使用LassoPath算法选择重要性高的参数，根据参数与性能之间的相关性来对参数进行排序，选择top K的参数来进行调优。但此方法存在一个缺点：Lasso只能发现参数和性能的线性相关性，而非线性相关性很难发现。

数据库管理员在进行参数优化时，会尝试对某个参数取不同的值，观察性能的变化，将对性能影响最大的几个参数调整到最优。某个参数取值不同对性能影响较大，说明该参数和性能的相关性较大，所以只需要得到每个参数和性能的相关性，就可以对参数进行排序，然后选择部分重要的参数进行优化。而参数与性能之间的关系分为线性的和非线性的，因此，选择RF(RandomForest)随机森林算法。

随机森林算法是通过集成学习的思想将多棵决策树集成的一种算法，且内部任意两棵树都没有依赖关系。随机森林首先，用bootstrap方法生成m个训练集，然后，对于每个训练集，构造一颗决策树，在节点找特征进行分裂的时候，并不是对所有特征找到能使得指标(如信息增益)最大的，而是在特征中随机抽取一部分特征，在抽到的特征中间找到最优解，应用于节点，进行分裂。随机森林的方法由于有了bagging，也就是集成的思想在，实际上相当于对于样本和特征都进行了采样，所以可以避免过拟合。

发明内容

针对现有技术的不足，本发明提供一种基于RF算法的MySQL数据库参数筛选方法，通过计算每个参数的重要性，同时对参数的默认值进行判定，若判定当前参数的默认值效果较好，则不对该参数进行调优，将它从序列中删掉，然后根据特征贡献度对剩下的参数进行排序，选择top K的参数进行数据库参数调优。

为解决上述技术问题，本发明所采取的技术方案是：

一种基于RF算法的数据库MySQL参数筛选方法，包括以下步骤：

步骤1：采集MySQL数据库参数制作样本数据集，对样本数据集中的每条样本数据进行测试得到每个MySQL数据库参数的取值、吞吐量、工作负载的增删改查比例、表的个数、列的个数、二级索引的个数信息；

步骤2：对样本数据进行预处理，所述预处理包括归一化、向量化；

步骤3：匹配工作负载的数据，根据工作负载的增删改查比例、表列个数的信息来匹配工作负载对应的MySQL参数；

步骤4：基于随机森林算法计算MySQL参数对数据库性能的重要性，进行默认值判定，对重要性大小进行排序，选出top K的参数，完成对进行MySQL参数的筛选，并对筛选后的MySQL参数进行数据库调优。