[发明专利]一种分布式应用系统下的慢sql实时数据采集方法

说明书

本发明公开一种分布式应用系统下的慢sql实时数据采集方法,涉及数据采集技术领域；在分布式应用系统上部署数据源插件，采用过滤器拦截数据库操作执行时间超阈值的sql信息作为慢sql实时数据，通过kafka消息队列，分布式应用系统产生的所有慢sql数据推送到告警系统和数据存储系统，发送告警邮件、存储慢sql执行数据供后续分析和展示，从而提高了系统运维的效率，增加了系统性能优化的抓手，减少了系统中数据库操作隐患问题的发生。

技术领域

本发明公开一种分布式应用系统下的慢sql实时数据采集方法，涉及数据采集技术领域。

背景技术

通信和网络技术的快速发展，推动了在线应用系统呈现几何级的增长。应用系统的服务内容也从原来的单一静态向多元动态交互模式发展，提高了用户体验的交互性和丰富性。然而，当海量用户在体验同一个网上服务的时候，经常会遇到服务器繁忙情况，因此现在往往使用多台服务器为同一种应用提供服务，为应用进行分布式部署。分布式部署在提高应用系统服务能力的同时，也增加了应用系统服务流程的复杂性。分布式环境下的数据库处理效率是影响应用系统服务能力的重要环节。为了保证数据库操作的稳定可用性，及时排除潜在的异常隐患，数据库操作sql语句执行实时监控。本发明提出了一种分布式应用系统下的慢sql实时数据采集方法，预设sql执行时间长短阈值，利用 druid数据源接口插件，拦截执行时间超阈值的sql信息(执行语句、执行时间、执行次数、错误次数以及并发数)获取实时获取分布式应用系统中的慢sql 执行数据，并将该数据写入kafka消息队列，推送到监控告警邮件系统和hbase 数据存储系统，发送告警邮件并存储慢sql执行数据供后续分析和展示。实践表明，本方法提高了系统对数据操作层面监控的效率、增加了sql执行异常隐患排查的可预见性。

发明内容

本发明针对现有技术的问题，提供一种分布式应用系统下的慢sql实时数据采集方法，提高了系统运维的效率，增加了系统性能优化的抓手，减少了系统中数据库操作隐患问题的发生。

本发明提出的具体方案是：

一种分布式应用系统下的慢sql实时数据采集方法，在分布式应用系统中部署数据源插件，数据源插件获取数据库实例的连接状态，利用数据源插件的过滤器实时获取sql语句的执行信息并根据预设的sql执行时间阈值筛选大于阈值的sql信息作为慢sql实时数据进行采集，将采集的慢sql实时数据写入kafka集群用以通知告警并进行存储。

所述的方法中在分布式应用系统中部署druid数据源插件，druid数据源插件包括数据库访问操作过滤器和数据记录过滤器，数据库访问操作过滤器根据预设的sql执行时间阈值与当前sql执行时间进行比较，获取到大于阈值的sql信息作为慢sql实时数据，发送给数据记录过滤器，数据记录过滤器将慢sql实时数据写入kafka集群。

所述的方法中druid数据源插件生成druid数据源实例配置druid连接的数据库参数，将数据库参数注入数据库访问操作过滤器及数据记录过滤器，在数据库访问操作过滤器中根据预设的sql执行时间阈值配置sql语句执行时间限制，执行每一个sql操作时，数据库访问操作过滤器将读取时间限制值与当前sql执行时间进行比较，获取到大于阈值的sql信息作为慢sql 实时数据，发送给数据记录过滤器。

所述的方法中数据记录过滤器将慢sql实时数据写入kafka集群的 topics中，每当topics有数据流到来，kafka将topics中的慢sql实时数据发送到告警系统通知告警和数据存储系统进行存储。

所述的方法中数据库访问操作过滤器获取到大于阈值的sql信息作为慢sql实时数据，慢sql实时数据包括执行语句信息、执行时间信息、执行次数信息、错误次数信息以及并发数信息。

所述的方法中Kafka中告警系统对获取到的慢sql实时数据进行整合，对于执行时间超时，发生错误的sql信息通过发送给运维人员。