[发明专利]一种基于配置的大数据监控方法及装置

说明书

本发明涉及一种基于配置的大数据监控方法及装置。该方法包括：获取离散的非结构化的原生态的原始数据；对原始数据进行预处理；确定预处理后数据中的结构项；根据配置文件对结构项进行结构拼接，形成统一数据结构的最终数据；发布最终数据。本发明对原始数据进行预处理，确定预处理后数据中的结构项，根据配置文件对结构项进行结构拼接，形成统一数据结构的最终数据，发布最终数据，实现将不同应用场景，不同数据类型的源数据转化为同一数据结构的数据进行发布的功能，对于发布数据的使用者，不需要对数据进行任何处理，实现数据的全面覆盖。

技术领域

本发明涉及大数据监控方法，尤其是涉及一种基于配置的大数据监控方法及装置。

背景技术

随着社会高速发展，科技进步，信息流通，人们之间的交流越来越密切，生活也越来越方便。伴随信息量爆炸性的增长，大数据作为这个高科技时代的产物，应运而生。

大数据时代所带来的影响是深远的，使人们正在经历一个大规模生产、分享、分析和应用数据的时代——人们第一次有机会和条件，广泛和深入地获得并应用全面数据、完整数据和系统数据。社会中日常产生大量离散而又相互关联的非结构化和半结构化数据，这些简称为原生态数据。合理有效地利用这些数据，能为决策层提供战略级的规划，能为管理层提供战役级的设计，能为运营层提供战术级的管控。

因此，大数据应用在当代社会各行各业都牵起一番热潮，然而大数据中的数据是离散的、多样的、无序的，要通过现有的技术手段形成有价值能应用的数据需要各行各业针对各自特点去分析、设计与开发，数据本身类别及实际应用场景的多样性增加了数据转化的难度，技术上缺乏对数据统一的规划与分类抽象，使得大数据的应用手段在不同的行业中存在不同的壁垒。不同应用场景、不同数据类型没法做到跨行业、多类型、全覆盖，若要全面覆盖会直接导致需求分析以及开发的工作量成倍增加，不符合当前软件开发的复用性的特性。

发明内容

(一)要解决的技术问题

为了解决现有技术的不足，本发明提供一种基于配置的大数据监控方法及装置，将不同应用场景，不同数据类型的源数据转化为同一数据结构的数据进行发布的功能，对于发布数据的使用者，不需要对数据进行任何处理，实现数据的全面覆盖。

(二)技术方案

为了达到上述目的，本发明采用的主要技术方案包括：

一种基于配置的大数据监控方法，其包括：

101，获取离散的非结构化的原生态的原始数据；

102，对所述原始数据进行预处理；

103，确定预处理后数据中的结构项；

104，根据配置文件对所述结构项进行结构拼接，形成统一数据结构的最终数据；

105，发布所述最终数据。

可选地，步骤103具体包括：

103-1，确定预处理后数据的数据项总数量L；

103-2，根据如下公式确定预处理后数据中的各数据项的结构概率P；

其中，W_n为第n个数据项的权重值，i为第i个数据项，f_n为预处理后数据中第n个数据项的有效数据量；

103-3，将结构概率大于预设阈值的数据项确定为结构项。

可选地，步骤102具体包括：

对所述原始数据进行去噪处理。

可选地，步骤104具体包括：

104-1，根据配置文件确定各结构项之间的结构关系；