[发明专利]一种基于机器学习进行数据库系统性能预测的方法及系统

说明书

本发明提供了一种基于机器学习进行数据库系统性能预测的方法及系统。方法包括：采集数据库运维数据并形成各时间周期的多维状态向量；基于所述多维状态向量计算跨多个时间周期的趋势向量；获取相应各时间周期的数据库系统性能指标；基于所获取的数据库系统性能指标计算系统评价值；基于所述趋势向量与所述系统评价值来训练数据库系统性能预测模型；以及将实时形成的趋势向量输入所述数据库系统性能预测模型以输出预测的系统评价值。

技术领域

本发明涉及数据库运维领域，更具体地，涉及基于机器学习进行数据库系统性能预测的方法及系统。

背景技术

随着互联网技术的不断普及，以及各业务领域的互联网化拓展，开放的LMAP架构已逐渐取代早期IOE架构。开源数据库相较于商业数据库而言更加开放、包容，更利于业务的快速迭代，其中MySQL作为开源数据库的佼佼者，具备高性能、低成本、易部署等特点，已逐渐成为主流的数据库解决方案，在各业务领域均有广泛的应用。

数据库作为业务系统的核心功能，由于与业务逻辑强相关，通常涉及到系统设计、开发、部署、运维等多个环节，当前数据库运维领域主要的工作模式是依靠数据库运维团队对数据库系统进行监控以及巡检，发现故障或者性能瓶颈，与开发人员、运维人员等讨论沟通细节确认后再进一步处理。这种方式的主要问题有：(1)依赖于数据库专家(DBA)多年的运维经验，系统是否稳定以及故障恢复时间与DBA技术水平强相关；(2)目前数据库运维技术存在滞后性，出现性能下降甚至故障时才进行人工干预处理，缺少对数据库系统性能的预测能力；(3)由于涉及到数据库、开发、运维等多个团队相互协作，故障处理速度过慢。

针对这些现状，目前市面上已有一些第三方工具或外挂平台来提高数据库运维效率，比如监控系统、自动化巡检等，虽然提高了发现问题的效率，但仍存在以下局限性：(1)只能在故障发生或数据库系统性能指标下降达到阈值时才能进行处理，无法依据趋势进行预测，不具备前瞻性；(2)数据库系统通常与业务逻辑强相关，第三方工具不适用大型的多个关联度高的复杂系统；(3)第三方工具中虽然有一些统一的基础监控，但对于不同业务场景的数据库运维仍然依靠数据库专家经验通过自行编写脚本、定义参数权重来定制，不具备客观性和通用性。

发明内容

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

为了解决当前数据库运维技术的局限性，本发明提出一种工作于系统本身、能够在高维度输入时准确判定数据库IO性能趋势、并对未来一段时间的数据库IO性能进行预测的方法。本发明通过采集数据库参数数据以及系统IO性能指标数据，采用SOFTMAX多分类器进行模型训练，对未来时间内的数据库IO性能进行预测。

本发明不依赖于人员经验，所有的输入数据、模型修订均为数据库自身的实际运行指标，能够客观地对数据库IO性能趋势进行预测，同时，本发明稳定高效，能通过不断在线学习，自动调优机器学习算法，提升预测准确性，对提高数据库运维效率有重要的参考意义。

根据本发明的一个方面，提供了一种基于机器学习进行数据库系统性能预测的方法，所述方法包括：

采集数据库运维数据以形成各时间周期的多维状态向量；

基于所述多维状态向量计算跨多个时间周期的趋势向量；

获取相应各时间周期的数据库系统性能指标；

基于所获取的数据库系统性能指标计算系统评价值；

基于所述趋势向量与所述系统评价值来训练数据库系统性能预测模型；以及

将实时形成的趋势向量输入所述数据库系统性能预测模型以输出预测的系统评价值。

根据本发明的一个实施例，基于所述多维状态向量计算跨多个时间周期的趋势向量进一步包括：