[发明专利]一种针对云环境运行数据的分析方法及系统

说明书

本发明公开了一种针对云环境运行数据的分析方法，包括以下步骤：收集云环境运行数据和云环境日志数据；对收集到的数据进行存储和处理；通过机器学习对数据进行分析；对结果进行展示；针对系统运行数据、日志数据等进行统一的结构化处理，进阶着使用机器学习以对这些数据分析，使云环境相关的数据能够联系起来，并通过我们的业务分析帮助用户非常清晰地了解云环境运行真实情况，而不是仅仅简单的按照统一地、没有个性化的阈值方式进行设定、配置。通过机器学习，能够准确把握系统的真实情况，帮助设定和配置具体的工作性能曲线范围以及事件的频度。

技术领域

本发明涉及云数据技术领域，尤其涉及一种针对云环境运行数据的分析方法及系统。

背景技术

当前关于云环境的运行分析基本分为两种，一是各云厂商基于自身的产品运维管理需要使用的资源层数据的使用量展示，首先这样的方式受限于厂商产品的设计，只关注自己平台的运行数据，导致整个环境的运行分析无法契合使用产品的用户的业务场景需要。其次运行良好与否的判断基于最简单的使用量等基础指标的阈值判断，简单来说就是使用量少系统运行好，使用量多系统运行差，缺乏应对各种场景的灵活度，用户除了看到一些数值，颜色之外并不能真正的找到导致业务发生问题的根本原因。

第二种是使用传统的网络管理协议进行监控，以常规的IT系统管理的方式进行数据的获取、展示。这种传统的IT管理方式对于云环境来说已经落伍，受限于管理模式对于云环境所要关注的运行分析点支持困难。另外传统方式在目前混合云的发展趋势下已经很难适应。主要表现在：1、监控广度不够，无法覆盖混合云的公、私两层，以及云下的各项资源的非运行数据。2、监控深度不够，数据的获取仅仅停留在获取到，简单的铺开呈现，没有二次的处理和交付，也没法和具体业务做关联，导致数据意义不大，对于解决用户的具体业务问题没有帮助。

同时这两种方式对于日志层面的数据都仅仅停留在拿到文件这个步骤，没有针对日志文件的进一步规整和分析，更不用说对于日志中的非结构化数据的处理。所有的数据都隔离，无法形成统一的联系，也就无法进行更高层次的关联的业务数据分析。

发明内容

鉴于目前存在的上述不足，本发明提供一种针对云环境运行数据的分析方法，针对系统运行数据、日志数据等进行统一的结构化处理，进而使用机器学习以对这些数据分析，使云环境相关的数据能够联系起来，并通过业务分析帮助用户非常清晰地了解云环境运行真实情况。

为达到上述目的，本发明的实施例采用如下技术方案：

一种针对云环境运行数据的分析方法，所述方法包括以下步骤：

收集云环境运行数据和云环境日志数据；

对收集到的数据进行存储和处理；

通过机器学习对数据进行分析；

对结果进行展示。

依照本发明的一个方面，所述对收集到的数据进行存储和处理包括：存储原始的运行数据和非结构化数据。

依照本发明的一个方面，所述方法包括以下步骤：收集到的数据通过http方式的接口进行传输。

依照本发明的一个方面，所述方法包括以下步骤：

收集日志文件；

对日志文件进行初步分析；

判断文件的具体内容是否支持直接的格式化；

如果是，则直接进行参数归类；

如果否则先进行语义识别，并根据识别进行语义分词，结束后再进行参数归类；

进行数据结构化转变，并将结果存储入库。

依照本发明的一个方面，所述方法包括以下步骤：

对已存储的数据进行探索和预处理；