[发明专利]一种基于实时内存TSDB报警的监控数据存储方法和系统

说明书

本申请公开了一种基于实时内存TSDB报警的监控数据存储方法和系统，采用Gorilla实现方式对监控数据进行压缩后再存储在实时数据存储模块中，且实时数据存储模块只存储最近预置时长内的监控数据，对于超过预置时长的监控数据，采用基于RRDTOOL对监控数据进行处理后存储在历史数据存储模块的RRD文件中，极大地节省了存储空间，且基于monitor‑tsdb服务的目标程序可以应对国产平台上特定的操作系统大规模监控数据存储，由于监控的数据大部分从内存总读取和写入，同时提高了监控报警的预警能力，大规模监控数据下的读写性能得到了极大提高，因此，解决了现有的监控数据存储方法监控数据读写性能不高，且浪费大量存储空间的技术问题。

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于实时内存TSDB报警的监控数据存储方法和系统。

背景技术

随着计算机行业国产化发展成为新的发展趋势，基于国产芯片、操作系统的各类软件也需实现国产化兼容。在监控系统中，存储部分是整个监控系统软件的核心，用于对监控系统的各种数据存储和查询；运维部分从各种不同服务节点手机各种监控数据，包括硬件、软件系统、服务、网络、存储、数据库、中间件、日志服务、云服务、web状态、业务监控、应用程序状态等，并需要对这些监控的数据进行存储、展示以及报警来跟踪问题。由于存储的数据量巨大，并且监控的数据存储写入数据量和并发量都很大，典型的写多读少应用场景，传统的关系型数据库难以应付，读写性能不高，并且写入的数据永久存入磁盘对监控系统并没有多大的用处，占用存储空间。而现有的采用将收集的数据直接存储在InfluxDB里面的监控数据存储方法和将收集的数据直接存储在hbase里面的数据库构造方法，都存在浪费大量存储空间的问题。

本申请中涉及的术语解释：

TSDB：时序数据库（time-series database），主要用于指处理带时间标签（按照时间的顺序变化，即时间序列化）的数据，带时间标签的数据也称为时间序列数据。

RRDTOOL：指Round Robin Database工具，即环状数据库，从功能上说，RRDtool可用于数据存储+数据展示。

Gorilla：一种带压缩高压缩比内存时序数据库实现方案。

国产平台：采用arm64架构的飞腾2000+处理器，以及银河麒麟云的服务器。

发明内容

本申请提供了一种基于实时内存TSDB报警的监控数据存储方法和系统，用于解决现有的监控数据存储方法监控数据读写定能不高，且浪费大量存储空间的技术问题。

有鉴于此，本申请第一方面提供了一种基于实时内存TSDB报警的监控数据存储方法，包括：

构建基于Gorilla TSDB的实时数据存储模块、基于RRDTOOL的历史数据存储模块和TSDB写入数据模块；

将所述实时数据存储模块、所述历史数据存储模块和所述TSDB写入数据模块对应的源程序编译打包成适配国产平台的二进制包，生成monitor-tsdb服务目标程序；

其中，所述基于Gorilla TSDB的实时数据存储模块只存储最近预置时长内的监控数据，超过所述最近预置时长的监控数据存储在所述历史数据存储模块中，所述TSDB写入数据模块包括中间件rpc通信模块和中间件http服务模块，所述中间件rpc通信模块用于接收传入的监控数据，所述中间件http服务模块用于查询用户查询具体的值，且根据参数来确定数据值是在所述实时数据存储模块中，还是在所述历史数据存储模块中。

可选地，还包括：

实时检测是否接收到用户查询监控数据请求，若是，则响应于所述用户查询监控数据请求，调用所述monitor-tsdb服务目标程序，在所述实时数据存储模块和所述历史数据存储模块中查询数据，并返回数据查询结果。

可选地，所述预置时长为2小时。