[发明专利]一种海量运维数据的处理方法及装置

说明书

本发明公开了一种海量运维数据的处理方法及装置，方法包括：获取目标数据；判断目标数据是否为非结构化数据，若是，则将目标数据存储于文档型数据库，若否，则：判断目标数据是否为结构化时序数据，若是，则将目标数据存储于时序数据库，若否，则：判断目标数据是否为结构化非时序数据，若是，则：基于目标数据的使用方式对目标数据进行存储。本发明将运维数据按照不同运维数据的时效、结构、应用特点，划分不同数据类别，同时系统化地设计了数据存储方式和管理方式。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种海量运维数据的处理方法及装置。

背景技术

在现实世界中，运行着大量各类系统和软件，服务于生产和生活。而有一类专用系统，它们用于监控这些系统和软件的状态，有效管理和控制这些软件，这类系统统称为运维工具，由于系统和软件的复杂性，运维工具产生了大量的数据以记录系统和软件的状态、收集系统和软件的日志，一个大型的企业，每天运维工具产生的数据总量可以多几十TB到几百TB，如何有效存储和管理这些数据面临着非常大的挑战。

运维数据按照数据时效性可以分为实时数据与离线数据，实时数据是指产生后即被传输并存储起来的一类数据，离线数据是指产生一段时间后才被传输和存储的一类数据。从运维数据内容类别上可以大致分为监控数据、告警数据、运行日志数据、配置管理数据、运维管理数据、运维操作数据和运营指标数据七大类别。按照数据处理方式是存储时处理还是使用时处理分为数据湖方式、数据仓库存储方式。运维数据中还有一类非常典型的时间相关数据即时序数据，主要是特征是每一条数据为某个具体时间点下的属性及属性的值。综上所述，运维数据按照其自身特点具备非常多的分类，数据内在有多样化的结构，从应用角度又有多种使用方式。

现有技术方案一般仅单独设计某一类运维数据的存储方式，没有系统化统筹考虑各类数据存储方式。典型的数据存储管理方式为使用关系型数据库(如MySQL)存储告警数据、配置管理数据、运维管理数据、运维操作数据和运营指标数据等结构化数据，使用时序数据库存储监控数据等时序数据，使用文档数据库(如ElasticSearch)存储运行日志数据等非结构化数据。

上述现有技术方案主要存在如下三点缺点：

1、数据存储规模有限。受限于关系型数据库本身的存储规模，无法长时间存储海量结构化数据，存储规模有限，一般来说，数据总容量不能超过PB级别。

2、不同数据库之间缺少联动、转换，导致数据重复传输或存储。如实时传输过来的交易数据，已包含交易量信息，可以通过据进行简单加工便可得到按小时、按天等周期的交易量，即由时序数据库中数据加工结果存储到关系型数据库即可。但上述方案需要上游再次发送数据、在关系型数据库、时序数据库中同时存储，造成资源浪费。文档数据库同理。

3、没有区分数据湖、数据仓库两种数据存储管理方式，导致数据丢失或无法得到有效利用。上述方案没有根据数据使用方式将数据按照数据湖、数据仓库两种不同存储方式管理，而实际应用过程中，数据湖方式不要求在数据进入运维大数据平台时加工到对应数据模型，从而节省数据加工到数据模型的时间，也最大限度保留了最多的原始信息以方便后续机器学习、数据挖掘；数据仓库管理方式对数据统一建模，从而将数据规范化、提供统一视图方便分析人员读取，方便大屏展示。

因此，需要考虑一种系统化的海量数据存储和管理方式，以实现运维数据高效存储和管理。

发明内容

有鉴于此，本发明提供了一种海量运维数据的处理方法，能够实现运维数据的高效存储和管理。

本发明提供了一种海量运维数据的处理方法，包括：

获取目标数据；

判断所述目标数据是否为非结构化数据，若是，则将所述目标数据存储于文档型数据库，若否，则：

判断所述目标数据是否为结构化时序数据，若是，则将所述目标数据存储于时序数据库，若否，则：