[发明专利]一种基于ELK的慢SQL实时分析方法及系统

权利要求书

1.一种基于ELK的慢SQL实时分析方法，其特征在于，包括步骤：

S1、在数据库服务器上部署数据库监控平台的Agent；

S2、Agent监控数据库生成的慢SQL日志文件；

S3、通过解析日志文件生成符合监控需求的SQL日志格式，解析后的慢SQL日志包含日志信息的JSON格式数据；

S4、Logstash收集解析后的日志数据，然后推送到Elasticsearch；

S5、数据库监控平台通过Elasticsearch实时查询对应的慢SQL数据；

S6、通过Kibana展示结果；

S2具体包括：S21、获取日志数据；S22、将日志数据写入一级缓存；S23、当检测到异常事件时，将一级缓存中包括异常事件的日志数据写入二级缓存；S24、采用二级缓存中的日志数据生成日志文件；

S3具体包括：S31、接入数据库，将数据库中的原始日志文件解析为目标格式；S32、基于目标格式的日志文件，添加与所述日志文件相对应的解析表达式；S33、通过所述解析表达式将日志文件的变更解析为新事件；

S4具体包括：S41、将日志目录按照域名进行拆分，生成多个根据域名信息进行命名的日志文件；S42、当满足预设的发送条件时，将生成的根据域名信息进行命名的日志文件发送至数据中心；S43、将日志数据推送到Elasticsearch；

S5具体包括：S51、获取待查询的日志文件；S52、确定满足本次查询需求的特征文件，特征文件中对应存储有根据预设查询需求而设定的特征关键字集合；S53、按照特征关键字之间在查询时的层次关系，从日志文件中查询与特征关键字所匹配的查询结果。

2.一种基于ELK的慢SQL实时分析系统，其特征在于，包括：

部署模块，用于在数据库服务器上部署数据库监控平台的Agent；

生成模块，用于Agent监控数据库生成的慢SQL日志文件；

解析模块，用于通过解析日志文件生成符合监控需求的SQL日志格式，解析后的慢SQL日志包含日志信息的JSON格式数据；

收集模块，用于Logstash收集解析后的日志数据，然后推送到Elasticsearch；

查询模块，用于数据库监控平台通过Elasticsearch实时查询对应的慢SQL数据；

显示模块，用于展示结果；

生成模块具体包括：获取单元，用于获取日志数据；第一单元，用于将日志数据写入一级缓存；第二单元，用于当检测到异常事件时，将一级缓存中包括异常事件的日志数据写入二级缓存；日志单元，用于采用二级缓存中的日志数据生成日志文件；

解析模块具体包括：接入单元，用于接入数据库，将数据库中的原始日志文件解析为目标格式；添加单元，用于基于目标格式的日志文件，添加与所述日志文件相对应的解析表达式；变更单元，用于通过所述解析表达式将日志文件的变更解析为新事件；

收集模块具体包括：拆分单元，用于将日志目录按照域名进行拆分，生成多个根据域名信息进行命名的日志文件；发送单元，用于当满足预设的发送条件时，将生成的根据域名信息进行命名的日志文件发送至数据中心；推送单元，用于将日志数据推送到Elasticsearch；

查询模块具体包括：采集单元，用于获取待查询的日志文件；特征单元，用于确定满足本次查询需求的特征文件，特征文件中对应存储有根据预设查询需求而设定的特征关键字集合；查询单元，用于按照特征关键字之间在查询时的层次关系，从日志文件中查询与特征关键字所匹配的查询结果。