[发明专利]一种统一高效的运维数据存储检索分析的方法与系统

权利要求书

1.一种统一高效的运维数据存储检索分析的系统，其特征在于，包括：

数据采集模块，所述数据采集模块提供各类运维数据统一、可扩展的采集能力；

数据处理加工模块，所述数据处理加工模块提供数据分发，解析，加工的处理能力；

数据存储检索分析模块，所述数据存储检索分析模块为各类运维数据提供统一的存储分析能力。

2.根据权利要求1所述的一种统一高效的运维数据存储检索分析的方法，其特征在于：所述数据存储检索分析模块将数据划分三个域，分别为：

时间域，所述时间域代表了运维数据或者事件产生的时间；

标签域，所述标签域相当于运维数据的字典与索引以及画像，提高数据在上层应用中灵活性；

指标域，所述指标域是具体的字段，比如cpu、load、io等具体性能指标数据，有针对日志的解析字段，比如针对nginx的访问日志解析，或者针对rsyslog日志等。

3.一种基于权利要求1所述系统的统一高效的运维数据存储检索分析的方法，其特征在于：包括以下步骤：

S1:数据采集模块以一个统一的数据采集客户端为实施前提，所述数据采集客户端统一了日志数据、性能指标数据、应用链路数据三种数据的采集，并通过一个用户控制台(user-console)可以统一做管控。

S2:按照数据流转的流程，步骤S1中的数据采集客户端将采集的数据上报到服务端；

S3:将采集的数据上报到数据处理加工模块中进行处理加工后，会被data-stash数据组件写入到运维数据库当中。

4.根据权利要求3所述的一种统一高效的运维数据存储检索分析的方法，其特征在于：所述数据采集客户端将采集的数据上报到服务端的过程中，需要考虑以下因素:

(1)保证系统的高可用性与架构的灵活性，为了保证系统的高可用性，在架构上引入了消息队列，我们这里优先推荐Kafka,同时考虑到具体的企业使用过程中涉及到运维数据分发的应用场景，而kafka又是一个非常不错的选择；

(2)保证架构的可扩展与功能的可扩展性，在实际的企业使用场景中，实际上报到服务端的数据格式是不可控的，特别是针对日志这种非结构化或者半结构化的数据，如果没有被结构化处理加工之前，很难做统一存储与分析的，最终很难发挥其价值，所以在数据处理层，提供了基于控制台的数据解析，转换，加工等处理插件，同时也支持动态打标签，数据富化的高阶功能。