[发明专利]一种基于ELK的慢SQL实时分析方法及系统

说明书

本发明涉及信息技术领域，具体涉及一种基于ELK的慢SQL实时分析方法及系统，包括步骤：S1、在数据库服务器上部署数据库监控平台的Agent；S2、Agent监控数据库生成的慢SQL日志文件；S3、通过解析日志文件生成符合监控需求的SQL日志格式，解析后的慢SQL日志包含日志信息的JSON格式数据；S4、Logstash收集解析后的日志数据，然后推送到Elasticsearch；S5、数据库监控平台通过Elasticsearch实时查询对应的慢SQL数据；S6、通过Kibana展示结果。本发明通过Logstash去收集服务器的日志文件，然后将日志文件存储到Elasticsearch中创建索引，通过Kibana展示结果给开发者或运维人员进行分析，能够实时地对慢SQL日志进行解析、监控；除此之外，还可以将收集的日志进行大数据分析，得到更有价值的数据给到高层进行决策。

技术领域

本发明涉及信息技术领域，具体涉及一种基于ELK的慢SQL实时分析方法及系统。

背景技术

结构化查询语言(Structured Query Language)简称SQL，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。慢SQL会长时间占用数据库同时消耗数据库服务器资源，这会极大的影响应用性能，减小系统吞吐量。因此，对慢SQL进行监控是很有必要的。

比如，文件CN106021071A，公开了一种监控SQL运行过程的方法，包括以下步骤：定义被执行的SQL语句以及SQL语句的执行阶段；定义SQL执行函数的执行格式和执行参数；调用SQL执行函数，通过SQL执行函数将SQL语句放入到ORACLE数据库中执行，生成执行日志，并返回执行结果；按照ORACLE数据库的返回值格式，使用日志解析函数对执行结果进行解析，生成解析结果；记录解析过程中生成的解析数据，并形成数据表；显示所述执行结果、解析结果和/或数据表。

通常情况下，对SQL语句的执行过程进行监控，可以为优化后期程序提供依据；也有利于后期维护，提升数据处理的准确性。但是，数据库服务器会将慢SQL通过日志的形式输出在本地服务器上，关键在于如何实时地对慢SQL日志进行解析、监控。

发明内容

本发明提供一种基于ELK的慢SQL实时分析方法及系统，解决了现有技术不能实时地对慢SQL日志进行解析、监控的技术问题。

本发明提供的基础方案为：一种基于ELK的慢SQL实时分析方法，包括步骤：

S1、在数据库服务器上部署数据库监控平台的Agent；

S2、Agent监控数据库生成的慢SQL日志文件；

S3、通过解析日志文件生成符合监控需求的SQL日志格式，解析后的慢SQL日志包含日志信息的JSON格式数据；

S4、Logstash收集解析后的日志数据，然后推送到Elasticsearch；

S5、数据库监控平台通过Elasticsearch实时查询对应的慢SQL数据；

S6、通过Kibana展示结果。

本发明的优点在于：通过Logstash去收集服务器的日志文件，然后将日志文件存储到Elasticsearch中创建索引，通过Kibana展示结果给开发者或运维人员进行分析。这样能够实时地对慢SQL日志进行解析、监控；除此之外，还可以将收集的日志进行大数据分析，得到更有价值的数据给到高层进行决策。

本发明建立集中式日志收集系统，在大规模应用的场景中，能够集中化管理日志；服务器上的日志收集汇总效率高、文本搜索快、能够多维度查询。