[发明专利]实时的数据库错误日志的统计分析系统及其方法

说明书

本发明涉及一种实时的数据库错误日志的统计分析系统及其方法，所述系统数据库服务器，设有慢日志采集服务单元在错误日志产生时采集错误日志；消息中间件接收所述错误日志并存储；服务层对所述错误日志进行清洗，将清洗后得到的数据根据预设规则进行匹配得到匹配数据，对所述匹配数据进行统计分析得到分析数据；以及获取所述错误日志的原始数据并对所述原始数据进行清洗，得到清洗后的原始数据；展示输出层输出并展示所述分析数据和清洗后的原始数据。本发明提供的技术方案无需登录到服务器命令行窗口，直接实时采集错误日志，并可以通过可视化界面查看所有数据库的错误日志，并可以按照库自定义规则来过滤错误日志。实现用户的自助化、定制化。

技术领域

本发明属于大数据技术领域，具体涉及一种实时的数据库错误日志的统计分析系统及其方法。

背景技术

在日志解析架构的数据库同步系统中，源端数据同步系统负责捕获源端数据库的操作日志，并解析日志还原得到相应的数据库操作，然后发送到目标端数据同步系统，目标端数据同步系统负责把这些操作在目标端数据库中执行，从而完成数据同步的过程。在该过程中会产生错误日志，数据库的错误日志分析都是在安装数据库的服务器上将错误查询的日志拷贝到临时目录，通过服务器上安装的插件对该日志进行分析。获取出指定时间段的错误日志。无法实时的获取到当前库的状态以及具体错误。同时数据库管理员也没有精力将所有数据库的错误日志一一整理出来。

相关技术中，错误日志分析系统每次都需要登录到安装数据库的服务器上进行操作，不仅对数据的性能会造成影响，服务器的安全性也无法得到保障。这种分析系统也只会对历史的错误日志分析，无法实时获取到系统产生的错误日志。因此，随着公司业务量的增长，数据库数据量越来越多，错误日志散落在各个数据库的服务器上，如何稳定高效的采集错误日志、快速的获取数据库的健康状态和快速的定位数据库问题越来越迫切的成为公司需要解决的难题。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种实时的数据库错误日志的统计分析系统及其方法，以解决现有技术中无法快速获取数据库的健康状态和快速的定位数据库的问题。

为实现以上目的，本发明采用如下技术方案：一种实时的数据库错误日志的统计分析系统，包括：

数据库服务器，设有慢日志采集服务单元，用于在错误日志产生时采集错误日志；

消息中间件，用于接收所述错误日志并存储；

服务层，用于对所述错误日志进行清洗，将清洗后得到的数据根据预设规则进行匹配得到匹配数据，对所述匹配数据进行统计分析得到分析数据；以及获取所述错误日志的原始数据并对所述原始数据进行清洗，得到清洗后的原始数据；

展示输出层，输出并展示所述分析数据和清洗后的原始数据。

进一步的，若所述数据库服务器包括多个，则每个数据库服务器中均设有慢日志采集服务单元。

进一步的，所述对所述错误日志进行清洗，包括：

将所述错误日志中的非结构化的数据处理成结构化的数据。

进一步的，所述数据库服务器还包括：

报警单元，用于在错误日志产生时进行报警。

进一步的，所述展示输出层包括：

显示单元，所述显示单元采用触控屏。

本申请实施例提供一种实时的数据库错误日志的统计分析方法，包括：

在错误日志产生时采集错误日志；

接收所述错误日志并存储；