[发明专利]一种统一高效的运维数据存储检索分析的方法与系统

说明书

本发明涉及运维技术领域，公开了一种统一高效的运维数据存储检索分析的方法与系统，包括：数据采集模块，所述数据采集模块提供各类运维数据统一、可扩展的采集能力；数据处理加工模块，所述数据处理加工模块提供数据分发，解析，加工的处理能力；数据存储检索分析模块，所述数据存储检索分析模块为各类运维数据提供统一的存储分析能力。本发明简化了当前针对云原生微服务的运维场景下数据存储方案，提高了运维效率，减少了人工操作，降低了劳动力度，提高了针对海量运维数据的查询分析的性能与及时性，为企业IT系统的即时监控告警提供了更好运维技术保障，统一了数据底层存储引擎，查询分析引擎，减少了运维成本与人员投入，为企业降本增效。

技术领域

本发明涉及运维技术领域，具体为一种统一高效的运维数据存储检索分析的方法与系统。

背景技术

目前运维领域存在的各式各样的结构化或者非结构化的数据格式或者数据模型，从数据特征与价值上可以划分为日志数据(log)、性能指标数据 (metrics)、以及应用链路数据(trace)、三种数据模型共同来为运维领域的` 可观察性`提供底层的数据驱动支持，但当前运维领域内还没有一种能够同时支持日志数据(log)、指标数据(metrics)、链路数据(trace)的统一存储查询分析的技术解决方案，有单独针对指标类数据存储查询方案prometheus、 zabbix+mysql、InfluxDB等tsdb，有针对日志链路类数据的存储检索方案如elasticsearch、hbase等，如果基于这些数据还要提供一个即席查询分析能力，可能还需要引入hadoop这一套笨重的技术体系，这样一来为了达到系统的一个`可观察性`的运维目标，会引入若干的技术体系，导致整个运维技术体系与架构的极度复杂性，而本身作为企业业务的技术保障与降低成本的部门，除了需要企业大量的财力投入以外，对于运维本身的稳定性与挑战也是巨大的，针对相关技术问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种统一高效的运维数据存储检索分析的方法与系统，以克服现有相关技术所存在的上述技术问题，本发明的目的是主要解决当前运维领域的三种数据模型(log/metric/trace)提供统一高效的存储检索分析的底层技术设施，降低企业实施运维投入成本，提高企业运维效率，提高可观察性，来更好为企业IT系统保驾护航。

为实现上述目的，本发明提供如下技术方案：一种统一高效的运维数据存储检索分析的系统，包括：

数据采集模块，所述数据采集模块提供各类运维数据统一、可扩展的采集能力；

数据处理加工模块，所述数据处理加工模块提供数据分发，解析，加工的处理能力；

数据存储检索分析模块，所述数据存储检索分析模块为各类运维数据提供统一的存储分析能力。

在本发明的较佳实施方式中，所述数据存储检索分析模块将数据划分三个域，分别为：

时间域，所述时间域代表了运维数据或者事件产生的时间；

标签域，所述标签域相当于运维数据的字典与索引以及画像，提高数据在上层应用中灵活性；

指标域，所述指标域是具体的字段，比如cpu、load、io等具体性能指标数据，有针对日志的解析字段，比如针对nginx的访问日志解析，或者针对rsyslog日志等。

一种基上所述系统的统一高效的运维数据存储检索分析的方法，包括以下步骤：

S1:数据采集模块以一个统一的数据采集客户端为实施前提，所述数据采集客户端统一了日志数据、性能指标数据、应用链路数据三种数据的采集，并通过一个用户控制台(user-console)可以统一做管控。

S2:按照数据流转的流程，步骤S1中的数据采集客户端将采集的数据上报到服务端；