[发明专利]一种分布式数据库运维动态阈值告警方法及装置

权利要求书

1.一种分布式数据库运维动态阈值告警方法，其特征在于：包括以下步骤：

第一步，基于极值理论建立阈值模型

使用峰值超过临界值定理和极大似然估计拟合尾端分布建立阈值模型并实时更新，对数据库指标进行动态跟踪，计算出对应时间点的阈值，实时计算并更新指标的上下限约束范围，并输出阈值信息；

第二步，数据采集与模型校准

对数据库指标模型原始信息输入进行收集处理，转换为阈值模型匹配输入格式，对各节点的阈值模型分别进行校准；

第三步，数据检测与异常报警

对比各个节点实时的监控指标数据与计算出的当前阈值上下限约束，如果超出阈值上下限约束范围，则进行告警并处理。

2.根据权利要求1所述的分布式数据库运维动态阈值告警方法，其特征在于：所述第一步中，尾端分布符合广义帕累托分布，表达式如下：

其中，x为采集到的数据库指标数据，X代表独立同分布的随机变量，t为用户预设的临界值，γ与σ分别为分布的形状参数与位置参数，P为分布标识符；

阈值z的计算公式为：

其中，Nt为独立同分布的随机变量X中大于临界值t的个数，分别为尾端分布的形状参数γ与位置参数σ的估计值，q为用户预设的概率值，n为流式数据点的个数。

3.根据权利要求2所述的分布式数据库运维动态阈值告警方法，其特征在于：所述用户预设的临界值t采用第98个百分位值。

4.根据权利要求2所述的分布式数据库运维动态阈值告警方法，其特征在于：所述用户预设的概率值q在1e-3至1e-5之间。

5.根据权利要求2所述的分布式数据库运维动态阈值告警方法，其特征在于：所述形状参数γ与位置参数σ通过极大似然估计估计得到，其对数极大似然logL(γ，σ)计算公式如下：

其中，Nt为随机变量X中大于临界值t的个数，Yi为超出临界值t的具体值，定义为Y_i＝X_i-t，X_i为相同时间的流式数据点，通过将公式(3)取对数求导，并将求导后的式子设置0，求解即可得到形状参数γ与位置参数σ的估计值

6.根据权利要求1所述的分布式数据库运维动态阈值告警方法，其特征在于：所述第二步中，将各节点的数据库指标信息分为校准数据和检测数据，尾端数据作为检测数据，排在尾端数据之前的头部数据作为校准数据，校准数据的个数上限由用户进行预设；

数据采集包括校准阶段数据采集，各节点校准阶段和逐条数据采集阶段；

所述校准阶段数据采集是指逐条采集存储数据库指标信息，待采集数量达到预设的上限后对阈值模型进行校准；

所述各节点校准阶段是针对各个节点进行阈值模型的校准，当节点的校准数据采集完成后，则针对该节点数据进行阈值模型的校准，使用收集到的校准数据点以及用户预设的值进行初步拟合尾端分布，计算出初始阈值；

当各节点的阈值模型校准完成过后，逐条采集数据库指标中的检测数据并解析处理，提交到对应节点校准后的阈值模型。

7.根据权利要求5所述的分布式数据库运维动态阈值告警方法，其特征在于：所述第二步中；使用收集到的校准数据点以及用户预设的t，q值进行初步拟合尾端分布，通过极大似然估计MLE得到初始预估值并通过公式(2)计算得到初始阈值z。

8.根据权利要求5所述的分布式数据库运维动态阈值告警方法，其特征在于：所述第三步中，对校准数据之后的流式数据进行异常判断，同时判断是否更新阈值；

若新一时刻的流式数据点超出上一时刻计算出来的阈值边界，则判定为异常，且不用于阈值的更新；

若新一时刻的流式数据点超出用户预设的临界值t，但并未超出上一时刻的阈值边界，则利用该流式数据点更新公式(3)中的Nt和Yi，得到新的估计值从而根据公式(1)得到新的阈值。

9.一种基于权利要求1～8所述的分布式数据库运维动态阈值告警方法的告警装置，其特征在于：包括：

数据采集模块，输入来源为Kafka topic中的消息，输入格式为JSON，利用开源组建Faust，启动属于阈值模型的Kafka Consumer对接实际生产情况下数据库的指标输出，在Python环境下实现对逐条输入消息的解析，获知该消息中阈值模型所需的指标信息以及对应节点信息；

基于极值理论的阈值模型计算模块，使用峰值超过临界值定理和极大似然估计拟合尾端分布并实时更新，计算出对应时间点的阈值，对校准数据之后的流式数据进行异常判断，同时判断是否更新阈值，从而完成动态告警任务；

异常报警模块，实时进行异常指标点的结果呈现，提醒用户发现问题并为用户提供调优方向。